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EDITORIAL 


En  el  IX  Congreso  Nacional  de  Modelos  de  Investigation  Educativa:  «Nuevas 
realidades  educativas.  Nuevas  necesidades  metodologicas»  celebrado  en  la  Universi- 
dad  de  Malaga  se  acordo,  en  la  Junta  de  AIDIPE  celebrada,  que  los  companeros  del 
area  MIDE  de  la  Universidade  da  Coruna  asumieran  el  compromiso  de  la  celebration 
del  proximo  Congreso  y,  por  primera  vez,  tambien  la  presidencia  de  esta  asociacion 
cayera  sobre  una  persona  de  la  misma  Universidad.  Desde  aqui  y,  aprovechando  este 
foro,  quiero  agradecer  a tod  os  los  asistentes  y especialmente  a los  socios  de  AIDIPE,  su 
generosa  confianza  en  un  cargo  de  tan  alta  responsabilidad  como  esta,  asi  como  por  la 
tarea  encomendada. 

Es,  por  el  cumplimiento  de  los  acuerdos  de  la  AIDIPE  en  Asamblea  General  de 
AIDIPE,  por  la  que  me  corresponde  presentar  este  nuevo  volumen  de  la  Revista  RIE 
con  una  enorme  satisfaction.  A lo  largo  de  estos  anos,  la  Revista  ha  servido  como 
medio  de,  por  una  lado,  recogida  de  todos  aquellos  trabajos  cientificos  presentados  en 
las  diferentes  secciones  de  los  Congresos  celebrados  y,  por  otro  lado,  como  medio  de 
comunicacion  de  los  diferentes  profesionales  de  la  Education  para  dar  a conocer 
aquellas  investigaciones,  experiencias  y practicas  profesionales  que  se  estan  desarro- 
llando  no  solo  en  nuestro  pais,  sino  que,  con  la  vinculacion  con  la  European  Educatio- 
nal Research  Asociation  (EERA),  se  estan  desarrollando  en  Europa.  Es  en  esta  linea, 
donde  la  Revista  auna  esfuerzos,  que  en  cierto  modo  creemos  comunes,  y que  se 
plasman  y vertebran  en  el  eje  comun  de  la  investigation  educativa  en  todas  sus 
secciones. 

En  el  volumen  16,  n°.  1 de  1998,  mi  precedesor  en  el  cargo,  el  profesor  Joan  Mateo 
Andres,  reflexionaba  sobre  la  necesidad  de  atender  a las  nuevas  necesidades  y de 
reconceptualizacion  para  integrar  los  nuevos  conocimientos  y metodologias  haciendo 
eco  de  la  necesidad  de  que  nuestra  asociacion  vertebre  nuevas  formas  organizativas 
para  arbitar  nuevas  vias  de  expresion,  de  pomover  nuevos  esfuerzos  de  pensamien- 
to,...  El  Congreso  al  que  anteriormente  nos  referiamos  ha  dado  un  paso  de  gigante  en 
esta  linea,  pero,  no  cabe  duda  que  queda  mucho  por  hacer,  pero  no  sin  felicitarnos 
todos  de  la  constante  aportacion  que  realizamos  por  la  mejora  de  la  calidad  educativa. 

Es,  en  aras  de  esta  mejora  por  la  que  hemos  de  llegar  al  siguiente  Congreso  de 
AIDIPE,  primero  del  milenio  y que  se  celebrara  en  el  2001  en  A Coruna,  con  el  objetivo 
de  tratar  aquellos  temas  que  mas  nos  preocupan  desde  diferentes  areas  cientificas;  en 
las  que,  Conferencias,  Ponencias,  Simposios,  Comunicaciones  y Posters  sean  motivo 
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de  debate  y enriquecimiento  de  nuestro  conocimiento  y de  nuestro  quehacer  diario 
como  profesionales  de  la  educacion. 

Por  ello,  y desde  aqui  os  invito  a que  con  vuestras  ideas,  colaboracion,  trabajos  y 
esfuerzos  hagamos  que  el  X Congreso  Nacional  de  A1D1PE,  que  se  celebrara  en  A 
Coruna  del  19  al  21  de  septiembre  de  2001,  cuyo  titulo  es  « Investigation  y Evaluation  en 
la  Sociedad  del  Conocimiento»,  tenga  la  repercusion  social  y academica  de  las  anteriores 
ediciones. 

Finalmente,  en  el  numero  de  RIE  que  se  presenta  podremos  encontrar  una  serie  de 
articulos  que,  con  toda  seguridad,  seran  de  gran  interes  para  el  lector  y que  desperta- 
ran  en  el  nuevas  perspectivas  teoricas  y metodologicas. 


Eduardo  Abalde  Paz 
Presidente 


Wh^d  :-f. r,  ", 


ESTUDIO  M0N06RAFIC0 


-&^~yrr''rjrr? 


i^t.,,.2U. ... 


— T^r^rr-Tf? — r~: — r^rr 


ao«L ^■I-.^uiL..;^ 


o 

ERIC 


9 


Revista  de  Investigation  Educativa,  2000,  Vol.  18,  n.°  1,  pdgs.  7-34 


LA  EVALUACION  DEL  PROFESORADO  Y LA 
GESTION  DE  LA  CALI  DAD  DE  LA  EDUCACION. 

HACIA  UN  MODELO  COMPRENSIVO  DE 
EVALUACION  SISTEMATICA  DE  LA  DOCENCIA 

Joan  Mateo 

Universidad  de  Barcelona 


RESUMEN 

Existe  un  renovado  interes  por  el  estudio  de  la  evaluation  del  profesorado  como  ingrediente 
fundamental  en  la  mejora  de  la  escuela.  Este  interes  proviene  del  convencimiento  que  detrds  de 
cualquier  mejora  en  la  escuela  tiene  al  profesor  en  su  centro  de  gravedad. 

En  nuestro  articulo  tratamos  de  sintetizar  la  investigation  y las  conceptualizaciones  exis- 
tentes  sobre  la  evaluation  del  profesorado,  haciendo  especial  enfasis  en  su  relation  con  la  mejora 
de  la  escuela  y la  gestion  de  la  calidad  educativa. 

Lo  hemos  estructurado  en  cuatro  apartados.  Uno  introductorio  y otros  tres  que  tratan  de 
explicar  las  condiciones  y las  caracteristicas  de  un  modelo  comprensivo  de  evaluation  sistemd- 
tica  de  la  docencia,  asi  como  indicaciones  de  como  disenarlo  adecuadamente. 

SUMMARY 

There  is  renewed  interest  into  the  role  of  teacher  evaluation  as  a fundamental  aspect  of 
school  improvement.  This  interest  comes  from  the  realization  that  any  significant  improvement 
in  schooling  must  have  the  teacher  at  his  heart. 

This  article  synthesizes  current  research  and  thinking  about  teacher  evaluation  related  with 
school  improvement  and  with  educational  quality  management. 
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The  article  es  organized  into  4 parts:  an  introductory  one  and  3 that  intend  to  explain  the 
conditions  and  characteristics  for  a comprensive  model  of  teacher  evaluation  system,  and  how 
to  design  it  properly. 


INTRODUCCION 

Existe,  sin  duda,  un  renovado  interes  por  el  papel  que  juega  la  evaluacion  del 
profesorado  en  la  mejora  de  la  escuela.  De  hecho,  las  comunidades  educativas  no 
pueden  sustraerse  a la  creciente  preocupacion  social  en  torno  a como  introducir  en 
todos  sus  ambitos  los  modelos  de  gestion  de  la  calidad  y es  evidente  que  existe  la 
conviccion  de  que  detras  de  cualquier  mejora  significativa  en  la  escuela  subyace  la 
actividad  del  profesorado.  Por  todo  ello,  establecer  la  conexion  racional  entre  los 
vertices  del  triangulo:  evaluacion  de  la  docencia-mejora  y desarrollo  profesional  del 
profesorado-mejora  de  la  calidad  de  la  escuela,  es  fundamental  para  introducir  accio- 
nes  sustantivas  de  gestion  de  la  calidad  en  cualquier  institution  educativa. 

A traves  de  este  escrito  trataremos  de  analizar  y resumir  el  pensamiento  y la 
investigacion  actual  en  torno  al  tema  de  la  evaluacion  del  profesorado  y como  se 
traduce  en  la  practica,  tema  al  que  hemos  dedicado  una  importante  parte  de  nuestro 
tiempo  de  investigacion,  de  gestion  y de  practica  educativa  Para  facilitar  la  compren- 
sion  del  mensaje  he  subdividido  la  aportacion  en  cuatro  apartados,  que  no  son  equiva- 
lentes  en  extension  pero  si  suponen  cuatro  momentos  distintos  en  el  complejo  proceso 
que  afrontamos: 

• Una  nueva  cultura  de  la  evaluacion  en  el  contexto  de  cambio  del  paradigma 
organizativo  de  la  educacion. 

• Aspectos  previos  a la  elaboration  de  un  sistema  de  evaluacion  del  profesorado. 

• Fases  en  el  diseno  de  un  sistema  de  evaluacion  del  profesorado. 

• Evaluacion  y desarrollo  profesional. 

UNA  NUEVA  CULTURA  DE  LA  EVALUACION  EN  EL  CONTEXTO  DE  CAM- 
BIO DEL  PARADIGMA  ORGANIZATIVO  DE  LA  EDUCACION 

I . Un  marco  social  distinto  para  la  educacion 

Como  consecuencia  de  las  profundas  mutaciones  que  se  estan  produciendo  en  las 
sociedades  industrializadas,  en  sus  economfas  y en  la  organization  del  trabajo,  los 
sistemas  educativos  de  los  pafses  europeos  y de  forma  mas  generalizada  los  del 
mundo  industrializado,  se  han  visto  obligados  a introducirse  en  un  verdadero  cambio 
de  paradigma  organizativo. 

La  secular  vinculacion  entre  formation  y mercado  de  trabajo  que  habfa  conducido 
a la  perception  de  la  educacion  como  inversion  ha  quedado  desdibujada  ya  que  en  la 
actualidad  la  acreditacion  educativa  no  garantiza  un  espacio  en  el  mundo  laboral  y en 
una  sociedad  tan  mercantilizada  como  la  nuestra,  donde  la  logica  del  mercado  se 
extiende  sin  reflexion  ni  crftica  a todos  los  ambitos,  produce  temor  el  pensar  que 
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puede  ocurrir  si  bajo  el  prisma  de  ser  considerada  la  educacion  como  un  gasto  social 
mas,  se  le  aplican  las  politicas  restrictivas  propias  de  los  nuevos  tiempos. 

Como  senala  Tedesco,  (2000,  p.  82),  «es  necesario  abrir  los  sistemas  educativos  a las 
prioridades  de  la  sociedad  actual  y redefinir  sus  pactos  con  los  agentes  socializado- 
res».  Es  evidente  que  el  problema  actual  en  los  paises  occidentales  no  esta  tanto  en  la 
universalization  de  la  ensenanza  sino  en  garantizar  a sus  ciudadanos  el  acceso  a una 
educacion  de  calidad.  Su  principal  prioridad  no  es  crecer  cuantitativamente  sino  ges- 
tionar  correctamente  la  calidad  de  la  educacion  y facilitar  el  acceso  a todos  los  ciuda- 
danos a una  educacion  de  mayor  exigencia. 

Solo  desde  una  ensenanza  de  calidad  que  dote  al  conjunto  de  ciudadanos  de  los 
instrumentos  y las  competencias  cognitivas  necesarias  para  un  desempeno  ciudadano 
activo,  se  puede  tratar  de  soslayar  los  problemas  de  exclusion  social  asociados  a la 
modernidad. 

La  educacion  debe  atender  los  nuevos  desafios  sobre  los  que  la  sociedad  se  esta 
construyendo.  Debe  garantizar  los  cuatro  pilares  de  Delors  (1996):  aprender  a conocer, 
a hacer,  a convivir  y a ser.  Debe,  en  un  elemental  ejercicio  democratico,  asegurar  en 
definitiva  a todos  los  ciudadanos  el  acceso  a los  circuitos  en  los  cuales  se  produce  y se 
distribuye  el  conocimiento  socialmente  mas  significativo. 

2.  Principios  generates  del  nuevo  paradigma 

En  cuanto  a la  orientation,  la  evolution  de  los  paises  europeos  en  relation  a los 
sistemas  educativos,  parece  responder  a los  cuatro  principios  generales  que  expone- 
mos  a continuation  (Hutmacher,  1999,  p.  24),  que  dan  soporte  y explican  la  aparicion 
de  un  nuevo  paradigma  organizativo: 

a)  La  primacia  de  las  finalidades,  que  exige  que  las  decisiones  y la  accion  se  orienten 
de  una  manera  prioritaria  conforme  a la  voluntad  de  alcanzar  los  objetivos 
establecidos,  en  todos  los  niveles  del  sistema,  desde  el  aula  hasta  los  niveles 
politico-estrategicos. 

b)  El  principio  de  imputabilidad  (accountability),  segun  el  cual  los  agentes  de  todos  los 
niveles  del  sistema  valoran  y deben  responder  sistematicamente  del  grado  de 
logro  de  los  objetivos. 

c)  El  principio  de  subsidiaridad,  segun  el  cual  las  decisiones  se  han  de  tomar  en  el 
mismo  nivel  donde  se  produce  su  implementacion,  y unicamente  se  delegan  a 
un  nivel  superior  de  responsabilidad  si  los  objetivos  no  es  posible  obtenerlos  de 
otra  manera. 

d)  El  principio  de  auto-organizacion  y de  desarrollo  continuo,  segun  el  cual  los  sistemas 
y sus  componentes  nunca  estan  absolutamente  fijados,  sino  que  estan  en  conti- 
nua  transformation,  bien  sea  por  la  propia  retroalimentacion  o bien  reforzados 

- por  el  entomo. 


12 


10 


Joan  Mateo 


3.  Hacia  una  reueva  cultura  de  la  evaluacion 

Este  cambio  implica  una  extension  importante  de  los  mecanismos  de  evaluacion  a 
todos  los  niveles  del  sistema  y entre  ellos  ocupa  un  lugar  preeminente  la  escuela.  Por 
otro  lado  esta  extension  se  acompana  de  un  cambio  de  lugar  de  la  cultura  de  la 
evaluacion  que  ya  no  se  orienta  tanto  hacia  la  sancion,  la  clasificacion  y la  seleccion 
como  hacia  aportar  una  informacion  razonada  y razonable  dirigida  a la  orientacion  de 
la  gestion  de  la  mejora  educativa. 

Esta  informacion  actua  como  retroalimentadora  de  la  accion  y apunta  a estimular 
la  reflexion  y la  busqueda  de  las  soluciones  mas  eficaces  y eficientes  por  tal  de  respon- 
der a las  expectativas  exigentes  y a menudo  contradictorias  dirigidas  a los  sistemas 
educativos  desde  la  sociedad. 

En  el  marco  de  este  cambio  los  sistemas  educativos  se  enfocan  de  otra  manera  y 
aunque  continue  su  expansion  cuantitativa,  se  da  mas  importancia  a la  calidad:  cali- 
dad  al  servicio  de  los  individuos,  de  los  alumnos  y calidad  desde  el  punto  de  vista  de 
criterios  sociales,  politicos,  culturales  y economicos  mas  globales. 

Pero,  la  exigencia  de  calidad  necesita  ser  concretada  y discutida,  lo  que  significa 
una  reorientation  de  las  finalidades  de  los  sistemas  educativos,  en  los  que  se  estrecha 
la  asociacion  entre  conocimientos  y competencias  intelectuales  y significa  tambien 
analizar  el  papel  que  juegan  cada  uno  de  los  agentes  educativos  en  funcion  de  la 
globalidad  de  la  mision  con  la  intention  de  incidir  en  la  mejora  de  la  gestion  de  la 
calidad. 

Las  politicas  educativas  de  la  mayor  parte  de  los  paises  europeos  tienden  a pasar 
de  una  logica  centrada  en  los  «inputs»  a una  logica  centrada  en  los  logros  y en  los 
procesos  que  los  producen  y que  tratan  de  explicarlos  convincentemente. 

En  el  nuevo  paradigma  organizativo  emergente,  la  evaluacion  se  convierte  en  parte 
de  los  procesos  de  control  y de  desarrollo  de  la  propia  calidad  y sirve  tambien  para  la 
rendition  de  cuentas.  Reviste  una  gran  importancia  estrategica  y esta  al  servicio  de  la 
progresion  hacia  la  realization  de  las  finalidades  del  sistema  y del  conjunto  de  los 
componentes  que  estan  al  servicio  del  desarrollo  hacia  la  calidad. 

Lo  centros  representan  una  pieza  clave  en  la  nueva  arquitectura  organizativa,  se 
convierten  en  ambitos  de  reflexion  y de  innovation  pedagogicas,  su  estatus  en  la 
gestion  de  la  calidad  se  revaloriza  gracias  a que  se  constituyen  en  comunidades 
educativas  autonomas  y responsables,  encargadas  de  realizar  a nivel  local  el  proyecto 
educativo  global  fijado  para  el  conjunto  del  sistema,  pero  con  una  capacidad  de 
autonomfa  y una  responsabilidad  amplias  por  lo  que  hace  a las  modalidades  de 
actuation  que  le  permiten  profundizar  y generar  un  producto  educativo  propio  que 
resalte  su  propia  identidad. 

Es  en  este  marco  donde  debe  insertarse  la  evaluacion  de  la  docencia  y es  a partir  de 
ella  que  debe  analizarse  y explicarse  la  del  profesorado.  No  es  posible  dotar  de 
signification  a la  evaluacion  del  profesorado  sino  es  insertada  en  los  procesos  de 
mejora  de  la  calidad  de  la  docencia  en  el  contexto  del  centro  educativo. 
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ASPECTOS  PREVIOS  A LA  ELABORACION  DE  UN  SISTEMA  DE  EVALUA- 
CION DEL  PROFESORADO 

Procesualizar  y establecer  las  bases  y la  estructura  de  un  sistema  evaluativo  para  el 
profesorado  no  es  una  tarea  sencilla,  prueba  de  ello  esta  en  las  dificultades  que  se  dan 
a nivel  de  la  mayorfa  de  los  pafses  occidentales  para  homologar  modelos  y configurar 
praxis  completas  de  evaluacion.  En  general  solo  se  ejecutan  intervenciones  parciales  y 
con  poca  continuidad.  Las  reflexiones  que  exponemos  a continuacion  son  el  producto 
de  la  investigation  y de  la  reflexion  conceptual  y tratan  de  establecer  los  elementos 
previos  clave  para  el  establecimiento  de  un  sistema  evaluativo  del  profesorado. 

I . Las  expectativas  del  centro  versus  las  necesidades  del  profesorado 

Tal  como  hemos  senalado,  el  problema  de  fondo  no  es  la  evaluacion,  sino  como  a 
partir  de  ella  conseguimos  gestionar  mas  eficientemente  la  calidad.  Para  ello  debere- 
mos  establecer  en  primer  lugar  los  elementos  basicos  que  sustentan  un  modelo  de 
evaluacion  del  profesorado  y como  estos  se  relacionan  con  los  procesos  de  mejora  de 
los  centros. 

Es  evidente  que  un  ingrediente  fundamental  en  los  logros  de  calidad  de  un  centro, 
lo  constituye  la  calidad  de  la  docencia  producida  por  su  profesorado,  pero...  ^hasta 
que  punto  son  coincidentes  los  intereses  de  uno  y otro?  El  paso  previo  para  establecer 
un  modelo  de  evaluacion  del  profesorado  es  resolver  el  sistema  relacional  entre  ambos 
conjuntos  de  necesidades. 

Se  admite  que  en  una  organizacion  Sana,  la  relacion  entre  el  centro  y el  profesorado 
ha  de  ser  dinamica  y el  principio  de  que  lo  que  es  bueno  para  el  centro  es  bueno  para 
el  profesorado  y viceversa  debe  prevalecer.  Este  tipo  de  relacion  sinergica  favorece  la 
posibilidad  de  que  ambos  alcancen  sus  propositos,  equilibrar  las  necesidades  indivi- 
duals con  las  expectativas  institucionales  es  esencial  para  generar  ambientes  de  tra- 
bajo  productivos  (March  y Simon,  1993).  Este  ha  de  ser  a nuestro  juicio  el  primer 
objetivo  a cubrir  en  cualquier  estrategia  evaluativa. 

No  es  posible  plantearse  un  verdadero  proceso  de  mejora  de  la  calidad  que  ignore 
las  demandas  individuates.  Tal  como  senala  Fullan  (1991,  p.  349)  «Combinar  el  desa- 
rrollo  individual  e institucional  genera  sus  tensiones,  pero  el  mensaje  es  evidentemen- 
te  claro.  Nadie  puede  obtener  uno  sin  el  otro». 

Todo  modelo  de  evaluacion  del  profesorado  debera  plantearse  como  primer  paso 
el  contar  con  la  participation  activa  del  mismo  en  su  diseno.  Solo  desde  la  participa- 
tion es  posible  contemplar  exhaustivamente  las  necesidades  del  profesor  y tratar  de 
compatibilizarlas  con  las  del  centro,  de  lo  contrario,  el  proceso  culturalizador  que  toda 
accion  evaluativa  debe  contener  estara  ausente,  la  evaluacion  se  convertira  en  un 
proceso  generador  de  incultura  evaluativa. 

Los  modelos  participativos  se  caracterizan  por  posibilitar  e incentivar  la  interven- 
tion y la  implication  de  las  personas  y los  grupos  que  conforman  la  organizacion  en  la 
toma  de  decisiones  que  afectan  a la  tarea  evaluativa  a realizar:  delimitation  de  objeti- 
vos,  establecimiento  de  planes  de  accion,  distribution  de  funciones,  analisis  de  la 
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information,  establecimientos  de  juicios  de  valor,  generation  de  decisiones  de  mejora, 
seguimiento,  etc. 

La  participation  del  profesorado  en  los  procesos  de  evaluation  no  se  ha  de  enten- 
der  unicamente  como  una  estrategia  de  gestion,  sino  que  presenta  un  valor  formativo 
intrinseco. 

Desde  la  implication  resulta  mas  viable  el  aprovechar  algunos  elementos  educati- 
vos  contenidos  en  la  evaluation,  como  es  su  capacidad  de  desarrollar  los  procesos  de 
autorregulacion  personales  o de  grupo. 

La  participation  facilita  la  coordination  de  las  actuaciones,  posibilita  la  construc- 
tion de  una  vision  unitaria  del  centro  y la  creation  de  una  cultura  institutional  com- 
partida. 

Solo  activando  la  participation  seremos  capaces  de  crear  un  clima  en  el  que  sea 
factible  el  conjugar  las  necesidades  a que  aludfamos  al  principio  de  este  apartado. 
Desaprovechar  esta  funcion  supone  comprometer  gravemente,  tal  como  senalaba  Fu- 
llan,  la  gestion  correcta  de  la  calidad. 


2.  Propositos  basicos  en  un  proceso  de  evaluation  del  profesorado 


Clarificadas  las  expectativas  del  centro,  paso  previo  para  establecer  su  mision  y de 
ahi  derivar  su  definition  de  calidad  y compatibilizadas  con  las  necesidades  del  profe- 
sorado procede  pasar  a establecer  el  proposito  evaluador. 

Los  dos  propositos  mas  frecuentemente  citados  por  la  mayoria  de  autores  para  la 
evaluation  del  profesorado  son  la  petition  de  responsabilidades  y la  mejora  de  la 
actividad  docente  (McLaughlin  y Pfeifer,  1988,  Duke  1990,  Mateo  et  al.  1996, 1999).  Sin 
embargo  no  nos  parecen  suficientes,  asf  expresados,  desde  la  perspectiva  de  la  gestion 
de  la  calidad. 

La  calidad  educativa  de  un  centro  no  depende  directamente  de  la  calidad  de  la 
actividad  docente  del  profesor  ni  de  que  se  le  exijan  responsabilidades.  Es  la  calidad 
de  la  docencia  el  nucleo  basico  impulsor  de  la  calidad  del  centro  y la  calidad  personal 
del  profesor  y la  de  su  actividad  no  tienen  que  estar  necesariamente  relacionadas  con 
ella. 

Para  que  la  calidad  del  profesor  este  relacionada  con  la  de  la  docencia  sera  preciso 
establecer  previamente  el  marco  conceptual  en  el  que  se  fundan  dinamicamente  los 
intereses  y necesidades  individuates  e institucionales.  No  es  posible  determinar  si  una 
action  del  profesor  es  realmente  de  calidad  sin  acudir  al  marco  de  referencia  que 
ofrece  la  vision  global  de  lo  que  se  entiende  en  un  centro  determinado  por  calidad  de 
la  docencia. 

Hemos  de  desarrollar  una  conception  de  la  evaluation  del  profesorado  en  la  que  se 
desarrolle  simultaneamente  la  mejora  del  profesor  y la  de  la  institution.  Este  modelo 
comprensivo  de  la  evaluation  del  profesorado  estaria  enraizado  en  dos  amplios  pro- 
positos (Stronge,  Helm  y Tucker,  1995): 

a)  Orientado  a los  resultados,  contribuyendo  a la  consecution  de  los  objetivos  perso- 
nates del  profesor  y a los  de  la  mision  del  programa,  del  centro  y de  la  organi- 
zation educativa  en  su  totalidad.  Deberfa  tambien  proveer  de  information  clara 
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y fiable  para  la  petition  de  responsabilidades  por  la  actuation  docente  en  fun- 
cion  de  esos  objetivos. 

b)  Orientado  a la  mejora,  contribuyendo  al  desarrollo  personal  y profesional  del 
profesor  asi  como  a la  mejora  del  centro. 

Todo  centro  debe  tener  explicitado  su  modelo  de  calidad  que  se  desprende  de  su 
mision  como  organization.  Debe  tener  perfectamente  establecidos  los  objetivos  a lo- 
grar  y cuales  corresponden  a la  docencia.  La  calidad  de  la  actividad  docente  del 
profesor  se  establece  a partir  del  modelo  de  calidad  para  la  docencia  en  el  centro.  Solo 
desde  la  calidad  de  la  docencia  pueden  entenderse  los  objetivos  que  debe  alcanzar  el 
profesorado  en  su  actividad  docente  y las  orientaciones  metodologicas  que  debe  apli- 
car  y consecuentemente  establecer  el  correspondiente  modelo  de  evaluation  y solo 
desde  ella  pueden  orientarse  procesos  de  mejora  del  profesorado  que  tengan  significa- 
do  para  el  centro  y para  la  persona  simultaneamente. 

3.  Acciones  basicas  para  promover  el  proceso  de  evaluation  del  profesorado 

Llegados  a este  punto  y si  queremos  alcanzar  una  evaluation  del  profesorado  de 
alta  calidad,  el  sistema  evaluativo  debera  construirse  a partir  de  un  equilibrio  dinami- 
co  entre  la  mejora  de  la  escuela  y la  mejora  del  profesorado  y para  ello  sera  necesario 
tener  en  cuenta  las  siguientes  acciones  (Stronge,  1997): 

a)  Establecimiento  de  objetivos  mutuamente  beneficiosos. 

b)  Enfatizacion  de  la  comunicacion  sistematica. 

c)  Creation  de  un  clima  favorecedor  de  la  evaluation. 

d)  Garantia  en  la  aplicacion  tecnica  del  sistema  evaluativo. 

e)  Uso  de  multiples  fuentes  de  datos. 

a)  Establecimiento  de  objetivos  reciprocamente  beneficiosos 

Los  objetivos  que  van  a constituir  las  metas  a conseguir  deben  ser  valorados  y 
percibidos  como  importantes  tanto  por  los  profesores  como  por  la  institution.  Olsen  y 
Bennet  (1980)  describen  la  actividad  evaluativa  como  un  proceso  asociativo  entre  la 
organization  y sus  empleados,  un  proceso  social  que  produce  como  resultado  una 
aproximacion  participativa  a la  evaluation.  Es  en  el  marco  de  esta  relation  mutuamen- 
te beneficiosa  que  se  produce  en  el  ambito  laboral  desde  donde  deberia  guiarse  el 
desarrollo  e implementation  de  un  sistema  evaluativo  relevante  y mutuamente  bene- 
ficioso. 

b)  Establecimiento  de  un  proceso  sistematico  de  comunicacion 

Los  sistemas  de  evaluation  del  profesorado  deben  construirse  a partir  de  un  proce- 
so compartido  de  comunicacion  donde  todos  los  aspectos  clave  deben  ser  tratados 
informativamente  de  forma  correcta.  Es  muy  importante  establecer  los  momentos 
informativos  tanto  de  aquellos  aspectos  que  son  publicos  por  naturaleza  como  aque- 
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llos  que  requeriran  de  un  tratamiento  informative)  mas  privado.  La  transparencia  de 
los  procesos  y la  posibilidad  de  interaction  se  fundamentan  en  politicas  eficientes  de 
informacion,  por  tanto  cada  aspecto  clave  del  proceso  evaluativo  debera  ir  acompana- 
do  del  correspondiente  acto  informativo  y este  debe  llevar  asociadas  las  condiciones 
de  garantia  de  que  se  realiza  en  condiciones  optimas  para  favorecer  un  verdadero 
proceso  comunicativo. 

c)  Cuidado  en  la  aplicacion  tecnica  del  sistema  de  evaluation 

Un  sistema  evaluativo  tecnicamente  correcto  no  garantiza  una  evaluacion  efectiva, 
pero  evidentemente  un  sistema  incorrecto  si  que  garantiza  que  nunca  llegue  a serlo. 
Posteriormente  entraremos  con  mas  detalle  en  la  estructura  y caracteristicas  que  debe 
contener  un  sistema  evaluativo  y en  la  instrumentation  disponible  pero  si  que  quere- 
mos  hacer  aqui  un  especial  enfasis  en  la  necesidad  de  que  cada  uno  de  estos  aspectos 
que  conforman  la  aplicacion  tecnica  de  los  procesos  evaluativos  se  realice  de  acuerdo 
a las  condiciones  tecnicas  de  calidad  y precision  exigidas  por  las  mas  elementales 
normas  de  la  evaluacion  educativa. 

d)  Uso  de  fuentes  de  datos  multiples 

Aunque  el  metodo  mas  usado  en  la  evaluacion  del  profesorado  es  el  que  podria- 
mos  denominar  como  clinico,  basado  en  una  secuencia  que  se  inicia  con  una  preconfe- 
rencia,  sigue  con  observacion  en  el  aula  y acaba  con  la  postconferencia  (E.T.S.  1988), 
los  sistemas  modernos  de  evaluacion  del  profesorado  se  caracterizan  por  documentar 
la  actividad  docente  a partir  de  multiples  fuentes  de  informacion  (Glatthorn,  1984; 
Conley,  1987;  Harris,  1987  y Me  Greal  1988). 

El  uso  de  fuentes  multiples  de  datos  para  la  evaluacion  del  profesorado  ofrece 
numerosas  ventajas  respecto  de  la  evaluacion  basada  en  una  sola  fuente,  citamos  entre 
ellas  (Stronge,  1997): 

® Production  de  un  marco  de  la  actuation  evaluada  mucho  mas  rica  y contextua- 
lizada. 

• Recogida  de  datos  en  situaciones  mas  naturales. 

• Integration  en  la  evaluacion  de  fuentes  primarias  y secundarias  de  datos. 

• Seguridad  de  una  mayor  fiabilidad  en  la  documentation  de  la  actuation  docen- 
te. 

® Documentation  respecto  de  la  actuation  docente  mas  cercana  a la  realidad. 

• Unas  bases  mas  legalmente  defendibles  respecto  de  las  decisiones  evaluativas. 

La  integration  de  multiples  fuentes  de  datos  en  los  procesos  de  evaluacion  del 

profesorado  aporta  una  imagen  mucho  mas  real  de  la  actividad  desarrollada  por  el 
profesor  y provee  de  una  plataforma  mucho  mas  poderosa  sobre  la  que  construir 
planes  de  mejora  realistas  que  la  que  se  nos  ofrece  a partir  de  una  sola  fuente,  como 
pudiera  ser  la  observacion  en  el  aula.  Usar  apropiadamente  multiples  fuentes  en  un 
proceso  de  evaluacion  potencia  enormemente  todas  sus  posibilidades. 
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e)  Creadon  de  un  dima  adecuado  para  la  evaluadon 

La  evaluadon  solo  puede  resultar  absolutamente  eficiente  si  se  lleva  a cabo  desde 
un  dima  adecuado  donde  la  confianza  entre  las  partes  implicadas  y la  honestidad  y la 
transparencia  en  las  actuaciones  sean  la  norma  y no  la  excepcion. 

La  consecucion  de  estos  climas  se  posibilita  en  la  medida  en  que  se  sigue  los 
pasos  establecidos:  participacion  en  el  establecimiento  de  los  objetivos,  comunica- 
cion  continua  y fluida  en  las  diferentes  fases  del  proceso,  precision  en  la  aplicacion 
de  las  tecnicas,  honestidad  en  los  juicios  y enfoques  proactivos  en  los  procesos  de 
mejora. 

No  se  puede  ocultar  que  en  ocasiones  los  procesos  evaluativos  no  se  llevan  a 
termino  en  las  mejores  condiciones  en  cuanto  a clima.  En  estos  casos  la  prudencia  debe 
presidir  las  actuaciones  y en  muchos  casos  deberemos  abandonar  algunas  de  ellas  por 
tal  de  no  quemar  las  posibilidades  de  mejora.  Es  preferible  reducir  los  ambitos  de 
actuacion  y tratar  de  avanzar  lentamente  procurando  que  sea  el  propio  proceso  el  que 
nos  vaya  abriendo  el  camino  para  acometer  tareas  de  mayor  dificultad. 

FASES  EN  EL  DISENO  DE  UN  SSSTEMA  DE  EVALUACSON  DEL  PROFESORADO 

Distingo  cuatro  grandes  fases  en  el  proceso  de  diseno  de  un  sistema  de  evaluadon 
del  profesorado: 

1.  La  fase  de  ideacion. 

2.  La  fase  de  desarrollo. 

3.  La  fase  de  implementacion. 

4.  La  fase  metaevaluativa 

B . Fase  de  ideacion 

Durante  esta  fase  se  deben  resolver  basicamente  los  siguientes  aspectos: 

a)  Identificacion  del  sistema  de  necesidades. 

b)  Derivacion  de  los  objetivos  institucionales. 

c)  Definicion  del  modelo  de  calidad  para  la  docencia. 

a)  Identificacion  del  sistema  de  necesidades 

Cada  centro  tiene  sus  necesidades  especfficas  que  logicamente  han  de  estar  relacio- 
nadas  con  el  contexto  social  y cultural  y que  deben  ser  alcanzadas  por  la  accion 
colectiva  de  todo  el  equipo  educativo. 

Un  examen  minucioso  de  las  necesidades  de  la  escuela  constituye  el  paso  previo 
para  clarificar  la  mision  y el  proposito  educativo  del  centro,  ayuda  a definir  el  proyec- 
to  educativo  y a clarificar  los  objetivos  institucionales. 
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b)  Derivation  de  los  objetivos  institucionales 

Determinar  las  necesidades  de  la  organizacion  es  un  prerrequisito  absolutamente 
necesario  para  establecer  si  los  restantes  pasos  del  proceso  evaluativo  son  relevantes 
en  terminos  de  la  mision  del  centro  y de  las  demandas  de  peticion  de  responsabilida- 
des  provenientes  de  la  sociedad  (Connellan,  1978,  Castetter,  1981,  Patton,  1986  y 
Goodale,  1992). 

De  el  se  derivan  los  objetivos  institucionales  y su  conocimiento  favorece  su  opera- 
tivizacion  y juntamente  con  el  analisis  de  la  capacidad  del  sistema  vehicula  el  estable- 
cimiento  del  grado  de  consecution  que  debemos  pretender.  Todo  ello  constituira  las 
bases  del  modelo  de  calidad  de  la  docencia  del  centro.  Explicitar  el  modelo  de  calidad 
de  la  docencia  posibilita  la  insertion  de  la  evaluacion  del  profesorado  en  los  procesos 
de  gestion  de  la  calidad  de  la  institucion. 

c)  Definition  del  modelo  de  calidad  para  la  docencia 

Tal  como  hemos  senalado  anteriormente  la  operativizacion  de  los  objetivos  institu- 
cionales y la  clarification  de  su  nexo  relacional  con  las  necesidades  del  centro,  permi- 
ten  juntamente  con  el  analisis  de  los  recursos  disponibles  el  establecer  un  modelo  de 
calidad  de  la  docencia  significativo  y sostenible  para  la  institucion. 

El  modelo  de  calidad  de  la  docencia  orienta  y sustantiva  el  proceso  de  evaluacion 
del  profesorado.  Es  el  vinculo  entre  la  evaluacion  del  profesor  y la  mejora  de  la  calidad 
del  centro.  Su  definition  debe  facilitar  la  description  y desarrollo  de  las  funciones  del 
profesor  y de  sus  responsabilidades  y orientar  el  establecimiento  de  los  «estandares» 
de  la  actuation  profesional  del  mismo. 

2.  Fase  de  desarrollo 

Bajo  esta  fase  contemplamos  dos  acciones: 

a)  Determination  de  las  funciones  y responsabilidades  del  profesorado. 

b)  Desarrollo  de  los  criterios  de  evaluacion  y de  sus  indicadores. 

c)  Fijacion  de  los  «estandares»  para  la  valoracion  de  la  actividad  docente. 

a)  Determination  de  las  funciones  y responsabilidades  del  profesorado 

Hemos  de  partir  de  la  premisa  que  solo  a partir  de  modelos  de  docencia  bien  estable- 
cidos  y definidos  es  posible  establecer  descripciones  apropiadas  y ajustadas  de  las  funcio- 
nes y responsabilidades  del  profesorado  (Olsen  y Bennett,  1980  y Scriven,  1991). 

Todo  sistema  de  evaluacion  del  profesorado  exige  establecer  con  precision  las 
areas  de  responsabilidad  del  profesor  en  el  contexto  institucional  y sus  funciones  mas 
importantes.  Estas  areas  han  de  servir  de  marco  para  establecer  con  la  mayor  precision 
posible  las  obligaciones  y actividades  a cumplir  por  el  profesor  y cual  es  su  sentido  en 
el  contexto  del  desarrollo  general  de  la  docencia  en  el  centro. 
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Cabe  anadir  que  los  sistemas  evaluativos  mas  desarrollados  incorporan  sistemas 
de  indicadores  en  relation  con  la  action  docente  del  profesor.  Tratan  de  capturar 
mediante  el  uso  de  muestras  de  indicadores  aspectos  esenciales  de  la  profesion  docen- 
te. Parten  del  principio  de  que  solo  a partir  del  indicador  es  posible  objetivar  la  action 
y la  reflexion  evaluativa. 

b)  Desarrollo  de  los  criterios  de  evaluation  y de  sus  indicadores 

Una  vez  establecidas  las  funciones  y areas  de  responsabilidad  basicas  del  profeso- 
rado y el  modelo  de  calidad  de  la  docencia,  podemos  derivar  factores  asociados  a las 
mismas  que  nos  serviran  de  criterios  para  evaluar.  Una  variable  criterio  nos  provee  de 
una  dimension  general  dentro  de  la  que  sera  posible  valorar  o juzgar  el  nivel  de 
realization  alcanzado  por  el  sujeto  (Wheeler  y Haertel,  1993).  El  area  de  responsabili- 
dad nos  orienta  acerca  de  las  variables  criterio  mas  significativas  y el  modelo  de 
calidad  direcciona  el  sentido  de  la  evaluation. 

Los  indicadores  son  observables  que  nos  permiten  cuantificar  las  variables  criterio 
y facilitan  los  procesos  de  objetivacion  de  la  evaluation. 

Criterios  e indicadores  constituyen  piezas  muy  importantes  en  los  procesos  de 
concretion  de  los  sistemas  evaluativos  mas  desarrollados. 

c)  Fijacion  de  «estandars»  para  la  valoration  de  la  actividad  docente  del  profesor 

Fijar  «estandares»  implica  determinar  los  niveles  de  actuation  del  profesor  consi- 
derados  como  aceptables.  Evidentemente  para  poder  proceder  a establecer  los  referen- 
tes  que  nos  permitiran  determinar  si  una  determinada  actuation  docente  ha  sido 
realizada  en  terminos  de  calidad  aceptable  de  acuerdo  al  modelo  de  calidad  estableci- 
do  para  el  centro,  es  preciso  haber  recorrido  al  menos  mmimamente  los  elementos 
hasta  ahora  establecidos. 

Unicamente  si  tenemos  bien  establecidos  los  objetivos  institucionales,  su  naturale- 
za  evaluativa  y el  marco  general  de  la  docencia,  sera  posible  pensar  en  el  estableci- 
miento  de  criterios  y niveles  de  valor  previamente  determinados.  Contar  con  un 
sistema  de  indicadores  bien  establecido  facilita  enormemente  la  tarea,  ya  que  la  obje- 
tivacion de  la  information  permite  el  uso  de  los  referentes  normativos  y criteriales  en 
el  proceso  de  estandarizacion  de  las  valoraciones.  La  estandarizacion  puede  llevarse  a 
termino  a cualquier  nivel  de  analisis,  aunque  obviamente  cobra  significados  distintos 
segun  sea  el  mismo.  La  unidad  referential  esencial  en  la  evaluation  del  profesorado 
es,  a nuestro  juicio,  el  centro  educativo. 

Cabe  anadir,  por  otro  lado,  que  la  determination  de  los  «estandares»  para  cual- 
quier actividad  evaluativa,  incrementa  la  posibilidad  de  transparencia  y limpieza  de 
los  juicios  valorativos  y la  defensa  legal  del  sujeto  frente  a posibles  arbitrariedades. 
(Phi  Delta  Kappa  National  Study  Committee  on  Evaluation,  1971,  Committee  on 
Standars  for  Educational  Evaluation,  1988). 


ERIC 


18 


Joan  Mateo 


3.  Fase  de  implementation 

Para  el  desarrollo  de  esta  fase  consideramos  tres  momentos: 

a.  Documentation  de  la  actividad  profesional  del  profesor. 

b.  Emision  de  los  juicios  valorativos  respecto  de  la  docencia. 

c.  Uso  intensivo  y extensivo  de  la  information:  la  derivation  de  las  propuestas  de 
mejora. 

a)  Documentor  la  actividad  profesional  del  profesor 

Por  documentar,  entendemos  el  proceso  de  recogida  de  suficientes  evidencias 
acerca  de  la  actividad  profesional  del  profesor  que  de  soporte  a la  posterior  evaluation 
y justifique  racionalmente  las  tomas  de  decisiones  personales  e institucionales  basadas 
en  la  evaluation. 

Tal  como  ya  hemos  senalado  anteriormente,  en  la  evaluation  moderna  los  procesos 
de  documentation  deben  relacionarse  con  multiples  fuentes  y estrategias  de  recogida 
de  datos,  en  ningun  caso  deberemos  construir  un  proceso  evaluativo  basado  en  una 
unica  fuente  de  information  (Conley,  1987,  Ellet,  1987,  Harris,  1987,  Me.  Greal,  1988, 
Helm,  1994). 

Entre  los  sistemas  mas  utilizados  en  la  actualidad,  para  evaluar  el  profesorado, 
tenemos  (Stronge,  1997):  la  observation  en  el  aula,  la  opinion  de  los  padres  y alumnos, 
juicios  valorativos  emitidos  por  pares,  el  rendimiento  en  los  aprendizajes  de  los  alum- 
nos, el  autoinforme  y el  portafolios. 

La  observacion  en  el  aula 

En  esta  metodologia  se  parte  de  la  premisa  de  que  observar  al  profesor  en  action  es 
la  mejor  forma  de  reunir  information  acerca  de  su  efectividad  docente.  La  visita  al 
aula  aporta  evidencias  muy  diffeiles  de  conseguir  de  otra  forma  como  son:  el  clima  en 
el  aula,  la  naturaleza  y calidad  de  las  interacciones  alumnos-profesor,  permite  obser- 
var los  procesos  de  instruction  directamente  y el  funcionamiento  general  de  la  clase 
(Everston  y Holley,  1981). 

Sin  embargo  tiene  tambien  limitaciones,  asi  Scriven  (1981)  nos  senala  la  baja  fiabi- 
lidad  del  procedimiento  fundamentandose  en  las  siguientes  razones: 

• El  limitado  numero  de  observaciones  y la  brevedad  de  su  duration  no  permiten 
la  generalization. 

• Hay  un  evidente  peligro  de  que  el  evaluador  focalice  su  atencion  guiado  por 
sus  intereses,  reflejando,  consecuentemente,  mas  sus  propios  puntos  de  vista 
que  la  realidad  del  aula. 

• La  pobreza  de  los  sistemas  de  registro  propician  que  la  mayorfa  de  evaluadores 
se  dejen  influir  por  sus  preconceptos. 

• Cualquier  interrelation  entre  observador  y observado  introduce  factores  de 

confusion.  * 
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® La  propia  visita  altera  el  comportamiento  del  profesor  y de  los  estudiantes  de 
forma  que  reduce  la  posibilidad  de  que  el  evaluador  realmente  observe  una 
muestra  representativa  de  la  docencia. 

Otros  elementos  adicionales  que  limitan  la  fiabilidad  de  la  accion  observadora,  son 
las  que  senalan  Stronge,  Helm  y Tucker,  1995: 

• La  naturaleza  artificial  que  entrana  toda  observacion  programada. 

• Limitaciones  por  causa  de  la  focalizacion  en  cualquier  observacion. 

• La  infrecuencia  de  las  observaciones.  (Si  no  se  quiere  alterar  el  ritmo  de  la  clase, 
^cuantas  visitas  se  pueden  programar?) 

• El  hecho  de  que  solo  una  porcion  del  repertorio  total  de  las  responsabilidades 
propias  del  profesor  pueden  ser  observadas  en  una  sola,  o en  unas  pocas  obser- 
vaciones. 

• La  realidad  de  que  existen  muchas  responsabilidades  del  profesor  que  se  ejecu- 
tan  fuera  del  aula  (El  trabajo  en  equipo,  desarrollo  colectivo  de  materiales, 
juntas  de  evaluacion,  etc.). 

Independientemente  de  que  la  observacion  del  trabajo  del  profesor  en  el  aula 
pueda  representar  una  aportacion  significativa  y vital  para  un  sistema  comprensivo 
de  evaluacion  del  profesorado,  es  evidente  que  es  insuficiente  por  si  sola.  La  mayoria 
de  trabajos  de  investigacion  realizados  en  este  sentido  han  mostrado  sus  debilidades 
(Root  y Overly,  1990;  Wood,  1992;  Frase  y Streshly,  1994)  y en  la  lfnea  de  lo  menciona- 
do  anteriormente  los  investigadores  apuestan  por  el  uso  combinado  de  las  diferentes 
estrategias  (Stronge,  1997). 

La  opinion  de  los  padres 

En  las  ultimas  dos  decadas  se  han  llevado  a termino  numerosos  estudios  analizan- 
do  los  beneficios  producidos  a partir  de  la  inclusion  de  la  opinion  de  padres  en  los 
procesos  de  evaluacion  del  profesorado  (Mager  1980;  Becher  1984;  Epstein,  1985;  Mark 
y Shotland  1985).  Parece  obvio  que  una  buena  relation  entre  padres  y profesores  y una 
comunicacion  efectiva  casa-escuela,  ha  de  repercutir  en  la  calidad  de  la  education. 

Potenciar  la  participation  de  los  padres  en  los  procesos  de  evaluacion  del  profeso- 
rado, permite  analizar  perspectivas  y conocer  puntos  de  vista  y aspectos  imposibles 
de  obtener  mediante  otras  fuentes.  Epstein  1984,  en  la  p.  4 senala: 

«(Los  padres)  aportan  informacion  acerca  de  como  el  profesor  interactua 
con  el  alumno  y la  familia,  responde  a las  necesidades  de  los  estudiantes, 
asigna  retos  apropiados  en  libros  y trabajo  de  casa  (tod os  ellos  considerados 
como  indicadores  de  efectividad  en  la  docencia).  Los  padres  estan  legitima- 
mente  habilitados  para,  juntamente  con  otros  jueces,  valorar  adecuadamente 
la  efectividad  de  los  profesores  y los  programas  escolares». 

En  el  proyecto  Faucette  (1995),  los  propios  profesores  expresaron  su  sorpresa  al 
descubrir  la  cantidad  y calidad  de  informacion  que  los  padres  poseian  sobre  sus 
practicas  docentes  en  la  clase.  En  la  investigacion  mencionada  aceptaron  que  los  datos 
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que  poseian  eran  valiosos,  precisos  y utiles  y que  podian  ser  integrados  en  sus  proce- 
sos  evaluativos  y utilizados  eficazmente  en  su  desarrollo  profesional  como  docentes  y 
en  la  mejora  de  la  docencia. 

No  queremos  ocultar,  sin  embargo,  las  dificultades  que  entrana  la  utilization  de 
esta  fuente  de  informacion.  Los  padres  con  todo,  no  son  profesionales  de  la  educacion, 
y sus  juicios  pueden  reflejar  sus  prejuicios,  su  vision  condicionada  por  sus  propios 
hijos  y tambien  su  desconocimiento  del  area  de  conocimiento.  El  profesor  por  otro 
lado  puede  sentirse  acosado  y como  colectivo  profesional  tampoco  es  sencillo  que 
acepten  ser  evaluados  por  personas  ajenas  al  mismo  (preguntemonos  que  opinarian  el 
colectivo  de  arquitectos,  por  poner  un  caso,  si  en  su  evaluacion  profesional  participa- 
ran  sujetos  ajenos  a la  profesion  y no  los  pertenecientes  a su  colegio  profesional). 

Aun  asi,  entendemos  que  la  evaluacion  tiene  como  finalidad  fundamental  el  apor- 
tar  informacion,  desarrollar  capacidades  y potenciar  actitudes  que  puedan  insertarse 
en  los  procesos  de  gestion  de  la  calidad  de  la  educacion  (asi  lo  estamos  defendiendo 
desde  el  principio  de  nuestro  escrito),  y las  percepciones  de  los  padres  pueden  en  ese 
sentido  aportar  datos  enriquecedores  y colaborar  en  el  desarrollo  de  actitudes  de 
interrelation  y mutuo  conocimiento  absolutamente  necesarias  para  producir  una  edu- 
cacion de  calidad. 

No  sera  de  recibo  extrapolar  los  datos  hacia  el  analisis  de  aspectos  que  no  corres- 
pondan  y en  ningun  caso  la  participation  evaluativa  de  los  padres  podra  entrar  en  el 
terreno  de  la  petition  de  responsabilidades. 

Su  aportacion  debe  servir  fundamentalmente  para  aportar  percepciones  distintas, 
enriquecedoras  de  la  vision  comprensiva  a la  que  aspiramos  y sobre  todo  para  mol- 
dear  nuevas  y muy  positivas  actitudes. 

Como  cierre  de  este  apartado,  bastenos  citar  del  estudio  de  Faucette  (1995),  y a 
modo  de  ilustracion  de  lo  que  tratamos  de  expresar,  la  reaccion  recogida  de  uno  de  los 
padres  cuando  despues  de  participar  en  el  proceso  evaluativo  expresa  lo  siguiente: 
«Estoy  muy  orgulloso  que  mi  hijo  vaya  a una  escuela  donde  los  educadores  valoren 
mi  opinion.  Doy  la  bienvenida  a esta  maravillosa  oportunidad  que  me  han  brindado 
de  ayudar  al  profesor  de  mi  hijo». 

La  opinion  de  los  alumnos 

Incorporar  la  opinion  de  los  alumnos  en  los  procesos  de  evaluacion  del  profesora- 
do  constituye  uno  de  los  topicos  mas  analizados  por  los  estudiosos  del  tema.  Uno  de 
los  argumentos  mas  utilizados  para  justificar  su  inclusion  se  centra  en  que  ellos  son 
los  consumidores  primarios  de  los  servicios  del  profesor. 

Son,  sin  duda,  los  mas  directos  receptores  del  proceso  de  ensenanza-aprendizaje  y 
se  encuentran  en  una  position  priviligiada  para  proporcionar  informacion  sustantiva 
acerca  de  la  efectividad  de  la  docencia,  mas  aun,  los  alumnos  son  los  unicos  que  tienen 
informacion  directa  del  tipo,  naturaleza  y calidad  de  las  practicas  docentes  que  se 
realizan  en  el  aula,  asi  Follman  (1992),  senala,  que  no  hay  otros  individuos  o colectivos 
que  tengan  una  experiencia  directa  con  el  profesor,  en  lo  que  se  refiere  a la  docencia, 
que  les  supere  en  extension,  amplitud  y profundidad  de  exposicion. 
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Sin  embargo  la  mayorfa  de  los  investigadores  admiten  restricciones  en  la  recogida, 
en  la  interpretation  y en  el  uso  de  la  informacion  proporcionada  por  los  alumnos.  En 
primer  lugar  parece  claro  que  la  practica  evaluativa  involucrando  alumnos  debe  res- 
tringirse  a los  de  mayor  edad,  de  hecho  en  nuestra  realidad  educativa  y en  la  de  la 
mayorfa  de  paises  occidentales,  solo  en  los  ambitos  universitarios  constituye  su  uso 
una  practica  extendida,  aunque  algunos  estudios  (Haak,  Kleiber  y Peck  (1972),  sugie- 
ren  que  pueden  utilizarse  a partir  de  la  secundaria. 

A nuestro  juicio  y a pesar  del  valor  que  todo  el  mundo  adjudica  a esta  fuente  de 
informacion,  consideramos  que  la  reflexion  evaluativa  de  los  alumnos  respecto  de  sus 
profesores  debe  inscribirse  en  el  marco  exclusivo  de  la  evaluacion  formativa  del  profe- 
sor  y en  su  enfoque  debe  primarse  el  acentuar  las  posibilidades  que  encierra  como 
instrumento  para  mejorar  la  relation  alumno-profesor. 

Que  el  profesor  conozca  las  percepciones  del  alumno  sobre  su  practica  docente  y 
su  actuation  personal  en  el  aula,  independientemente  de  su  valor  formativo,  puede 
ser  una  plataforma  de  interaction  y acercamiento  entre  los  alumnos  y el  profesor  de 
primerfsima  magnitud.  Los  instrumentos  utilizados  en  la  recogida  de  informacion 
deberan  estar  construidos  de  manera  que  faciliten  el  acceso  a aquel  tipo  de  informa- 
cion que  mas  ayude  a ese  proposito  y debera  dejarse  para  otras  estrategias  aquella  que 
pueda  generar  situaciones  de  conflicto,  en  la  que  la  resolution  no  es  sencilla,  dada  la 
natural  asimetria  existente  entre  el  profesorado  y el  alumnado. 

Finalmente  cabe  anadir  que  la  informacion  obtenida  a partir  de  la  opinion  del 
alumnado,  es  tambien  de  un  incalculable  valor  cuando  se  cruza  con  otras  obtenidas 
mediante  otros  medios  (p.  ej.  la  de  los  padres). 

Evaluacion  a partir  del  juicio  emitidos  por  los  pares 

A1  margen  de  la  importancia  y el  valor  que  asignemos  a la  informacion  obteni- 
da a partir  de  las  opiniones  de  los  padres  y de  los  alumnos,  es  un  hecho  comun- 
mente  aceptado  que  la  informacion  asf  obtenida  ofrece  una  vision  parcial  de  la 
docencia.  Si  verdaderamente  queremos  obtener  una  imagen  precisa  y completa  de 
la  misma,  con  la  intention  de  gestionar  su  mejora  y orientar  las  decisiones  tanto 
personales  como  institucionales  de  una  manera  inteligente  y ajustada,  no  tenemos 
mas  remedio  que  introducir  en  el  sistema  evaluativo  informacion  proveniente  de 
los  pares. 

En  los  procesos  modemos  de  mejora  de  la  calidad  y en  el  marco  de  la  empresa,  se 
ha  adoptado  ultimamente  en  el  mundo  anglosajon  el  concepto  denominado  «valora- 
cion  de  360  grados»  (Stronge  y Ostrander  1997,  p.  150),  consistente  en  retroalimentar 
positivamente  la  actividad  de  un  empleado  a partir  de  recoger  informacion  respecto 
de  su  actividad  proveniente  de  todas  las  personas  que  le  rodean  y que  de  una  manera 
u otra  interactuan  con  el. 

Los  expertos  consideran  este  concepto  como  paralelo  al  movimiento  que  persigue 
la  mejora  continua  de  la  actividad  docente  a partir  de  usar  la  retroalimentacion  prove- 
niente de  los  pares,  como  aportacion  fundamental  en  los  sistemas  de  evaluacion  de  la 
docencia. 
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Dada  la  naturaleza  colaborativa  de  la  ensenanza  y la  educacion  moderna,  seria 
absurdo  imaginar  un  proceso  de  evaluacion  que  ignorara  a los  pares  como  fuente  vital 
para  la  retroalimentacion  de  la  mejora  de  la  calidad  de  la  actividad  docente.  La 
evaluacion  por  pares  expresada  de  forma  colegiada  constituye  sin  duda,  una  formula 
extraordinaria  de  desarrollo  profesional  y de  refuerzo  positivo  para  los  ensenantes. 

Deberemos  sin  embargo  introducir  algunas  precisiones  basicas  si  queremos  que 
realmente  este  principio  sea  aplicado  adecuadamente.  En  principio  en  el  contexto  de 
un  sistema  de  evaluacion  no  hay  que  confundir  el  concepto  de  retroalimentacion  por 
los  pares  con  el  de  evaluacion  por  los  pares. 

La  informacion  aportada  por  los  pares  formara  parte  como  la  proveniente  de  una 
fuente  mas  en  el  marco  general  del  sistema  de  evaluacion  comprensivo  de  la  docencia. 
En  ningun  caso  se  derivaran  juicios  valorativos  directos  desde  esta  informacion. 

Por  todo  ello,  la  informacion  que  se  solicita  de  los  pares  nunca  estara  basada  en 
juicios  valorativos  personales  del  companero  o en  informacion  subjetiva  basada  en  la 
impresion  (o  en  el  desconocimiento)  respecto  de  su  actuacion,  sino  en  informacion 
objetivamente  valorada  respecto  de  aquellos  elementos  de  su  actividad,  que  los  com- 
paneros  conocen  directamente  y que  debran  expresar  de  tal  manera  que  permite 
incidir  en  su  mejora.  Solo  asi  la  informacion  de  los  pares  introduce  elementos  sustan- 
tivos  para  la  retroalimentacion  positiva  del  profesor  y le  aporta  verdadero  valor 
anadido. 

Si  los  pares  participan  en  la  aportacion  de  informacion  para  la  evaluacion  sistema- 
tica  de  la  actividad  docente  de  los  companeros,  habra  que  tener  muy  presentes  los 
siguientes  extremos: 

• Usos  de  informacion  basada  en  hechos.  La  mas  importante  consideration  en  la 
recogida  de  datos  es  que  esta  este  focalizada  fundamentalmente  sobre  descrip- 
ciones  factuales  respecto  de  la  actuacion  docente  de  la  persona  a evaluar.  Para 
ello  es  importante  invitar  como  proveedores  de  datos  unicamente  a aquellos 
pares  que  tengan  conocimiento  directo  de  la  actividad  del  profesor  a evaluar. 
(Stronge  y Helm,  1991). 

• Consider aciones  en  torno  a la  validez  y a la  fiabilidad.  Una  forma  de  incrementar  la 
validez  del  estudio  es  preguntar  unica  y exclusivamente  cuestiones  a la  persona 
interrogada,  que  por  razon  de  su  conocimiento  directo  este  en  condiciones  de 
contestar,  evitando  otro  tipo  de  consideraciones.  En  cuanto  a la  fiabilidad,  cabe 
recordar  que  cuanto  mayor  sea  la  muestra  de  personas  interrogadas  mayor  sera 
la  misma,  por  tanto  convendra  incluir  suficientes  sujetos  en  los  procesos  evalua- 
tivos  por  pares. 

• Confidencialidad.  La  confidencialidad  debe  garantizarse  para  todo  el  proceso 
evaluativo,  de  lo  contrario  dificilmente  conseguiremos  que  la  informacion  apor- 
tada sea  emitida  sin  restricciones  de  algun  tipo. 

• Procedimientos  de  muestreo.  Un  estudio  en  el  que  la  muestra  elegida  para  llevarlo 
a cabo  no  garantice  una  importante  representatividad,  constituye  un  estudio 
absolutamente  inutil. 
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El  rendimiento  en  el  aprendizaje  de  los  alumnos 

No  debemos  olvidar  que  el  proposito  directo  de  la  ensenanza  es  el  aprendizaje  y 
que  la  escolarizacion  deberia  asegurar  que  cada  nueva  generacion  de  alumnos  acumu- 
le  los  conocimientos  y destrezas  necesarios  para  desenvolverse  solventemente  al  lie- 
gar  a la  edad  adulta  ante  las  demandas  que  marca  la  sociedad.  A tenor  de  esta 
afirmacion,  incluir  el  rendimiento  de  los  alumnos  como  una  fuente  mas  en  los  proce- 
sos  de  evaluation  del  profesorado  parecerfa  del  todo  razonable. 

Sin  embargo  la  idea  de  ligar  estrechamente  el  aprendizaje  de  los  alumnos  con  la 
tarea  del  profesor  o de  la  escuela  no  es,  a pesar  de  los  numerosos  trabajos  en  esa 
direction  (Scriven,  1988;  Millman  y Sykes,  1992;  Smylie,1994;  Webster,  1994),  una  idea 
totalmente  aceptada.  Los  problemas  tecnicos  y politicos  planteados  al  intentar  relacio- 
narlos  significativamente  han  impedido,  hasta  ahora,  el  orientar  de  forma  generaliza- 
da  los  procesos  de  evaluacion  del  profesorado  sobre  el  rendimiento  en  los  aprendiza- 
jes  de  los  alumnos  (Berk  1988). 

Aun  asi  y en  este  marco  comprensivo  que  venimos  desarrollando,  parece  que  las 
nuevas  lineas  de  trabajo  vuelven  sobre  este  topico,  solo  que  desde  puntos  de  vista 
distintos  a los  mantenidos  tradicionalmente  por  los  defensores  de  incluir  el  rendi- 
miento de  los  alumnos  como  objeto  de  evaluacion  de  la  tarea  docente. 

Se  trata  no  tanto  de  valorar  la  tarea  del  profesor  sobre  el  rendimiento  absoluto  de 
los  alumnos,  sino  tratar  de  hacerlo  sobre  el  valor  anadido  aportado  por  la  docencia. 
Elio  implica  por  un  lado  establecer  el  punto  de  partida  del  rendimiento  anterior, 
valorando  no  tan  solo  las  ganancias  de  rendimiento  sino  analizandolas  a la  luz  que 
aporta  tambien  el  potencial  de  aprendizaje  observado  en  los  alumnos  a lo  largo  del 
tiempo  (obtenido  mediante  el  analisis  de  los  registros  de  su  evolution  en  los  ultimos 
cursos),  asi  como  tambien  de  cruzar  esta  informacion  con  otras  de  tipo  contextual  que 
nos  permita  racionalizar  y desagregar  que  parte  de  las  ganancias  obtenidas  responden 
a una  actividad  docente  de  calidad  y cuales  son  atribuibles  a otras  causas. 

Por  otra  parte  y tal  como  ya  hemos  expresado  anteriormente,  la  informacion  asi 
obtenida  formara  parte  de  ese  registro  acumulativo  de  evidencias  multiples  que  nos 
ayuda  a dibujar  con  la  mayor  precision  posible  y con  el  mayor  numero  de  matices  la 
realidad  de  la  docencia  ejercida  por  el  profesorado.  Al  tiempo  debemos  nuevamente 
recordar  que  incluir  en  la  reflexion  del  profesorado  informacion  de  este  estilo  respecto 
del  rendimiento  es  fundamental  en  los  proceso  de  mejora  personal  y colectiva  y aporta 
datos  decisivos  a la  institution  para  la  gestion  de  la  calidad  de  la  docencia. 

El  autoinforme 

El  autoinforme  constituye  un  proceso  por  el  que  el  profesor  efectua  juicios  acerca 
de  la  adecuacion  y de  la  efectividad  de  su  propia  actividad,  con  el  objeto  de  establecer 
las  bases  que  faciliten  la  mejora. 

En  estos  procesos  de  autorreflexion  es  el  propio  profesor  el  que  debe  seleccionar, 
recoger,  interpretar  y juzgar  la  informacion  referida  a su  propia  practica.  Aqui  es  el 
profesor  el  que  establece  los  criterios  y fija  los  estandars  para  juzgar  la  adecuacion  de 
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sus  creencias,  conocimientos,  habilidades  y efectividad  respecto  de  su  actividad  do- 
cente.  Finalmente  es  tambien  el  quien  decide  la  naturaleza  de  las  acciones  de  desarro- 
llo  personal  que  debera  asumir  despues  del  proceso  de  reflexion  sobre  su  actividad. 

La  autoevaluacion  aporta  un  tipo  de  conocimiento  unico  en  el  contexto  de  la 
evaluation  comprensiva,  que  no  debemos  desaprovechar  y cuya  importancia  respon- 
de  a las  siguientes  razones  (McColskey  y Egelson,  1993;  Airasian  y Gullickson,  1995,96): 
3 • Es  un  acto  de  responsabilidad  profesional. 

• Es  una  actividad  que  permite  focalizar  el  desarrollo  profesional  y la  mejora  al 
nivel  del  aula  y del  centro,  ambitos  donde  realmente  el  profesor  es  un  gran 
experto. 

» Supone  un  reconocimiento  que  el  cambio  en  la  organization  exige  tambien 
cambios  en  los  procesos  personales 

® Implica  tambien  el  reconocimiento  que  el  profesor  mantiene  el  control  sobre  su 
propia  practica. 

• Ni  Facilita  que  el  profesor  sea  consciente  respecto  de  las  fortalezas  y debilidades  de 
su  propia  practica. 

• Motiva  actitudes  proactivas  de  cambio  y de  desarrollo  profesional. 

• Trata  a los  profesores  como  profesionales  con  capacidad  de  automejora. 

• Favorece  la  interaction  y el  debate  en  el  marco  escolar,  acerca  de  la  calidad  de  la 
docencia. 

Finalizamos  este  apartado  senalando,  que  posiblemente  una  forma  de  potenciar  la 
calidad  de  los  autoinformes  es  que  estos  se  realicen  despues  de  que  el  profesor  ha 
analizado  informacion  evaluativa  sobre  su  actividad  proveniente  de  otras  fuentes 
(como  son  las  que  hasta  ahora  hemos  analizado).  La  informacion  previa  ayuda  a 
centrar  la  autorrefelexion  y favorece  la  profundidad  de  los  propios  juicios.  Indepen- 
dientemente  responde  a la  idea  que  mantenemos  que  los  sistemas  evaluativos  sobre  la 
docencia  se  fundamentan  sobre  el  analisis  complementario  e interactive  de  fuentes 
documentales  multiples  y diversas  en  su  naturaleza. 

El  portafolios 

El  portafolios  del  profesor  se  ha  convertido  en  los  ultimos  afios  en  uno  de  los 
instrumentos  mas  populares  y extendidos  en  los  Estados  Unidos,  tanto  para  la  evalua- 
cion como  para  el  desarrollo  profesional  del  profesorado.  Su  uso  ha  sido  adoptado  en 
numerosos  ambitos  incluido  el  universitario  donde  se  ha  aplicado  fundamentalmente 
en  la  formation  y desarrollo  profesional  de  profesores  noveles  (Borko,  Michaelec  y 
Timmons,  1996).  Tambien  ha  demostrado  su  utilidad  en  el  reconocimiento  de  activi- 
dad docente  de  excelencia  a nivel  de  distrito  educativo  en  Estados  Unidos  (Wolf, 
Lichtenstein,  Bartlett  y Hartman,  1996)  y en  procesos  de  renovation  de  licencias  tanto 
a nivel  estatal  como  nacional  en  el  mismo  pais. 

En  su  forma  mas  elemental  el  portafolio  en  esencia  no  es  sino  una  simple  coleccion 
de  informaciones  acerca  de  la  practica  docente  del  profesor.  El  problema  que  puede 
tener  es  que  sus  contenidos,  que  pueden  ser  tan  variados  como  fotografias  de  la  vida 
de  la  escuela,  notas  escritas  de  los  padres  dirigidas  al  profesor,  etc.  etc.,  no  esten 
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relacionados  con  la  filosofia  docente  personal  del  profesor  o con  el  plan  de  calidad 
docente  de  la  escuela,  en  otras  palabras  que  carezca  de  significacion  para  orientar  el 
proceso  de  mejora. 

Para  evitarlo  el  portafolios  deberia  contemplar  los  siguientes  aspectos  (Schulman 
1992): 

® El  portafolio  deberia  estructurarse  alrededor  de  contenidos  profesionales  y de 
los  objetivos  institucionales  del  centro. 

® Deberia  contener  ejemplos  cuidadosamente  seleccionados  del  trabajo  del  profe- 
sor y de  los  alumnos  de  forma  que  ilustrara  adecuadamente  hechos  o situacio- 
nes  clave  de  la  practica  docente. 

• Los  contenidos  del  portafolio  deberian  ir  acompanados  de  comentarios  escritos, 
que  explicaran  e interpretaran  el  significado  e importancia  de  los  mismos. 

• El  portafolio  tendria  que  constituir  una  coleccion  de  experiencias  vividas  que 
sirvieran  de  base  para  discutir  con  los  colegas  elementos  de  desarrollo  profesio- 
nal. 

En  general  se  admiten  tres  grandes  propositos  para  el  portafolios  (Wolf,  Lichtens- 
tein y Stevenson,  1997): 

• Dirigido  a cumplimentar  requerimientos  evaluativos. 

• Para  orientar  el  desarrollo  profesional. 

• Como  ayuda  en  la  busqueda  de  empleo. 

Desde  nuestro  insistente  punto  de  vista  del  modelo  comprensivo,  la  funcion  basica 
del  portafolios  esta  en  la  evaluacion.  El  portafolios  ilustra  con  experiencias  significati- 
vas  y representativas  la  informacion  evaluativa  que  poseemos  y que  se  requiere  para 
llevar  a buen  termino  la  evaluacion  sistematica  de  la  docencia.  Obviamente  y previa 
reflexion  y en  el  contexto  de  mejora  de  la  docencia  la  informacion  contenida  en  el 
portafolio  ayuda  en  la  orientation  del  desarrollo  profesional  del  profesor. 

En  el  portafolios  del  profesor  deben  incluirse  todos  aquellos  materiales  que  pue- 
dan  en  algun  momento  incrementar,  via  ilustracion,  nuestro  conocimiento  evaluativo 
de  la  actividad  docente  del  profesor. 

Justamente  el  caracter  adicional  que  aporta,  es  incluir  en  nuestra  reflexion  mues- 
tras  de  ejemplos  escogidos  de  la  actividad  profesional,  que  en  sf  mismos  no  constitu- 
yen  necesariamente  informacion  objeto  de  evaluacion,  pero  que  su  valor  anadido 
consiste  justamente  en  arrojar  luz  a otras  informaciones  que  si  lo  son. 

b.  Emision  de  los  juicios  de  valor  respecto  de  la  docencia 

Bajo  el  termino  docencia  existe  un  constructo  muy  amplio  y complejo,  pero  llega- 
dos  a esta  fase  del  proceso  evaluativo  no  tendremos  mas  remedio  que  enunciar  como 
vehicular  su  concretion.  Si  hemos  seguido  cada  uno  de  los  pasos  hasta  aqui  explicita- 
dos:  analisis  de  las  necesidades  institucionales  y su  compatibilizacion  con  las  expecta- 
tivas  profesionales  del  profesorado,  determination  de  los  objetivos  institucionales, 
desarrollo  de  criterios  e indicadores,  establecimiento  de  estandars,  tenemos  todos  los 
elementos  basicos  que  nos  delimitan  operativamente  cual  es  el  modelo  de  calidad  que 
se  pretende  en  ese  centro  para  la  docencia. 
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El  modelo  de  calidad  de  la  docencia  es  el  que  nos  va  a orientar  en  la  procedimen- 
talizacion  del  diseno  evaluativo.  Nos  va  a indicar  que  elementos  de  la  docencia  son  los 
mas  significativos  para  un  momento  determinado  y por  tanto  estaremos  en  condicio- 
nes  de  determinar  que  tipo  de  informacion  deberemos  recoger,  a traves  de  que  instru- 
mentos,  con  que  secuenciacion  y que  tipo  de  analisis  habra  que  aplicar.  Todos  ellos 
constituyen  los  elementos  clave  del  diseno  u operativizacion  del  procedimiento  eva- 
luativo. 

No  hemos  de  minusvalorar  los  aspectos  procedimentales,  parodiando  la  frase  de 
que  democracia  es  procedimiento,  podemos  afirmar  que  sin  procedimiento  no  hay 
evaluacion. 

En  muchisimas  ocasiones  agotamos  la  actividad  evaluadora  en  los  procesos  de 
recogida  de  la  informacion.  Documentar  la  actividad  evaluadora  de  manera  multiple 
y enriquecida,  tal  como  hemos  indicado,  es  un  paso  esencial,  pero  no  suficiente  para 
alcanzar  la  sistemacidad  y la  comprensividad  en  la  evaluacion. 

Es  preciso  que  dicha  recogida  de  informacion  este  orientada  adecuadamente,  que 
las  condiciones  previas  facilitadoras  de  la  evaluacion  se  hayan  cumplido,  que  los 
nexos  relacionales  de  la  evaluacion  con  los  procesos  de  mejora  y de  desarrollo  profe- 
sional  se  cumplan,  etc.  etc.  y todo  esto  nunca  sera  posible  si  cada  una  de  las  acciones 
no  estan  convenientemente  integradas  en  el  procedimiento  evaluativo. 

En  definitiva  la  lfnea  argumental  que  va  desde  tener  exquisito  cuidado  con  que  se 
cumplan  las  condiciones  de  produccion  de  la  evaluacion,  que  pasa  por  asegurar  la 
calidad  tecnica  en  los  procesos  de  recogida  de  informacion  de  forma  que  que  garanti- 
cen  su  sustantividad  y su  riqueza  y variedad  de  puntos  de  vista,  que  continua  contro- 
lando  el  cumplimiento  de  los  aspectos  relacionales  entre  la  informacion  analizada  y 
los  procesos  de  mejora  de  la  docencia  en  la  institucion  y el  desarrollo  profesional  de 
los  implicados,  que  se  desarrolla  bajo  un  cuidado  absoluto  del  derecho  a la  confiden- 
cialidad  y de  los  derechos  legales  que  asisten  a los  implicados  constituyen  la  linea 
maestra  que  vertebra  una  evaluacion  que  aspire  a adquirir  las  caracterfsticas  de  siste- 
matica  y comprensiva. 

Solo  a partir  de  una  adecuada  explicitacion  de  cada  uno  de  los  momentos  del 
procedimiento  a efectuar  es  posible  sistematizar  el  proceso  entendiendolo  como  un 
continuo  en  el  tiempo  y recorrer  cada  uno  de  los  aspectos  que  le  permite  adquirir  el 
caracter  de  comprensivo,  ya  que  atiende  simultaneamente  a todas  las  audiencias  en  el 
contexto  de  las  necesidades  institucionales  y profesionales  expresadas  en  el  modelo  de 
calidad  de  la  docencia. 

c.  Uso  intensivo  y extensivo  de  la  informacion  evaluativo:  la  derivacion  de  las  propuestas  de  mejora 

Una  de  las  caracterfsticas  que  mejor  caracteriza  las  sociedades  modernas,  esta  en  su 
evolucion  hacia  nuevas  formas  de  funcionamiento  basadas  en  el  uso  intensivo  y 
extensivo  de  la  informacion  (Tedesco,  2000).  Con  esta  afirmacion  previa,  queremos 
dar  especial  relevancia  a una  realidad  que  consideramos  fundamental  en  el  marco  de 
la  evaluacion  actual,  el  hecho  que  la  derivacion  de  las  propuestas  de  mejora  debera 
asentarse  sobre  un  analisis  intensivo  de  la  informacion  y en  su  uso  extensivo. 
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La  information  evaluativa  ha  de  ser  analizada  en  profundidad  utilizando  para  ello 
todos  los  metodos  que  la  inteligencia  y las  nuevas  tecnologfas  sean  capaces  de  aportar. 
Sus  resultados  deberan  ser  integrados  en  todos  los  ambitos  desde  los  que  se  pueda 
incidir  en  la  mejora  global  de  la  calidad  de  la  docencia. 

Para  conseguirlo,  en  el  analisis  de  los  puntos  fuertes  y debiles  y en  las  propuestas 
de  mejora  deberemos  atender  a una  doble  orientation: 

Por  un  lado  el  analisis  para  poder  alcanzar  el  adecuado  nivel  de  profundidad, 
relevancia  e intensidad  debera  ser  orientado  por  el  rnodelo  de  calidad  de  la  docencia  y 
obviamente  hacer  uso  de  los  procedimientos  tecnicamente  mas  avanzados  y correctos. 

Por  otro,  si  queremos  que  los  resultados  incidan  extensivamente,  deberemos  recla- 
mar  la  existencia  de  una  plan  estrategico  del  centro  donde  integrar  la  information 
evaluativa  con  otras  de  distinta  procedencia,  pero  igualmente  relevantes,  y desde  el 
proyectar  cualquier  propuesta  de  mejora. 

La  toma  de  decisiones  no  depende  unicamente  de  la  information  evaluativa,  sino 
que  su  vehiculacion  exige  integrar  la  information  evaluativa  con  otras,  analizarlas 
conjuntamente  de  forma  realmente  comprensiva  e intensiva  de  forma  que  la  genera- 
tion de  propuestas  se  asiente  realmente  en  el  dominio  de  la  realidad. 

El  plan  estrategico  es  el  unico  espacio  que  facilita  toda  esta  compleja  red  de  interac- 
ciones  y todo  centro  deberia  tenerlo  de  forma  que  se  racionalicen  y se  fijen  las  priori- 
dades  donde  inscribir  cualquier  propuesta  de  desarrollo  y de  cambio,  entre  las  que 
evidentemente  se  encuentra  los  planes  de  mejora  para  la  docencia. 

Pensemos  que  antes  de  tomar  cualquier  decision  debe  analizarse  en  profundidad  la 
capacidad  total  del  sistema,  donde  entre  otros  aspectos  se  analiza  el  potential  de 
cambio  del  centro,  los  recursos  con  que  se  cuenta,  las  necesidades,  las  prioridades  y 
con  todo  ello  se  establecen  las  lineas  maestras  sobre  las  que  discurrira  su  crecimiento 
y desarrollo  durante  un  perfodo  determinado  y es  en  ese  marco  donde  se  inscribe  la 
information  evaluativa  que  evidentemete  modifica  el  propio  plan  estrategico  al  incor- 
porar  sus  aportaciones  pero  que  al  tiempo  dimensiona  y direcciona  toda  las  tomas  de 
decisiones  ligadas  con  la  evaluation,  el  desarrollo  y la  mejora. 

Los  planes  estrategicos  constituyen  en  la  actualidad  uno  de  los  instrumentos  mas 
utilizados  para  dinamizar  el  desarrollo  de  las  instituciones.  Constituyen  la  corriente 
principal  de  cualquier  organization  alrededor  de  la  que  se  organizan  todas  las  inicia- 
tivas,  dotandolas  de  sentido  global  y de  significado,  al  tiempo  que  racionalizan  los 
procesos  de  priorizacion  y de  secuenciacion  de  las  acciones  a ejecutar.  Facilitan  las 
tomas  de  decisiones  realistas  e integradas  en  una  mision  comun  que  gracias  a que  esta 
explicitada  puede  ser  debatida,  mejorada  y compartida. 

Un  rnodelo  comprensivo  de  evaluation  sistematica  de  la  docencia  encuentra  en 
este  espacio  el  contexto  donde  debe  situarse  todas  las  propuestas  de  mejora,  agrupa- 
das  y ordenadas.  El  plan  estrategico  de  la  organization,  es  el  unico  ambito  donde  es 
posible  asegurar  mmimamente  la  racionalidad  y el  realismo  de  la  action  evaluadora. 
Al  tiempo  todo  plan  estrategico  lleva  implicito  su  propio  plan  de  seguimiento  lo  que 
permite  cerrar  eficazmente  el  tirculo  que  enlaza  la  evaluation  con  la  mejora. 
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4.  La  fase  metaevaluativa 

Desde  que  en  1975  se  creo  el  «Joint  Committee  on  Standars  for  Educational  Evalua- 
tion»  ha  ido  generando  diversas  recomendaciones  para  conducir  procesos  metaeva- 
luativos.  En  lo  que  hace  referenda  al  personal  ha  emitido  dos  conjuntos  de  normas, 
una  el  1988  y otra  en  el  1994. 

Segun  sus  propias  palabras  se  conceptualiza  el  termino  estandar  como  «un  princi- 
pio  comunmente  aceptado  para  ser  usado  en  evaluar  la  calidad  en  educacion»  (San- 
ders 1994).  Sin  embargo  desde  nuestro  punto  de  vista,  las  recomendaciones  tal  como 
ellos  las  emiten,  las  concebimos  mas  como  medios  para  desarrollar  la  calidad  de  las 
practicas  evaluativas. 

Los  estandars  para  la  evaluacion  del  personal  de  1994,  vienen  agrupados  (como  en  la 
anterior  ocasion)  en  cuatro  categorfas  que  tratan  de  reflejar  los  atributos  que  debe  reunir 
una  evaluacion  del  profesorado  correcta:  propiedad,  utilidad,  factibilidad  y precision. 

Propiedad 

El  estandar  de  propiedad  establece  la  expectativa  de  que  las  evaluaciones  que 
afecten  al  profesorado  deben  ser  conducidas  legal  y eticamente.  Aparte  deben  suponer 
algun  tipo  de  mejora  para  aquellos  que  van  a ser  evaluados  y a los  que  sirven.  Se 
enfatiza  en  este  estandar  los  siguientes  aspectos: 

• La  orientacion  hacia  el  servicio:  La  evaluacion  del  profesorado  debe  promover 
principios  educativos  correctos,  la  proteccion  de  los  derechos  del  estudiante  y 
de  la  comunidad  y la  satisfaction  de  las  necesidades  del  sistema  educativo.  Los 
estandares  especfficos  para  la  ensenanza  deben  ser  formulados  de  forma  que 
refuercen  consistentemente  a todos  los  profesores. 

• Caracter  formal:  Las  polfticas,  los  procedimientos  y los  criterios  que  gufan  la 
evaluacion  del  profesorado  deben  ser  establecidos  de  manera  consistente,  equi- 
tativa  y legal. 

• Conflicto  de  intereses:  La  evaluacion  debe  estar  protegida  de  procesos  inapro- 
piados  que  puedan  sirvan  a intereses  personales  discriminatorios.  Su  orienta- 
cion debe  ser  el  servicio  al  centra  y a objetivos  profesionales  compartidos. 

• Acceso  a los  informes  personales:  La  evaluacion  del  profesorado  tiene  caracter 
confidencial  y su  acceso  debe  estar  perfectamente  controlado. 

• Interaction  con  los  evaluados:  Los  profesores  evaluados  deberean  ser  tratados 
de  manera  profesional,  considerada  y cortes. 

Utilidad 

La  evaluacion  del  profesorado  ha  de  ser  informativa,  oportuna  e influyente.  En  este 
sentido  se  cuidaran  especfficamente  los  siguientes  elementos: 

• Orientacion  constructiva:  La  evaluacion  del  profesorado  debera  incidir  en  la 
mejora  de  la  calidad  del  centra,  en  el  desarrollo  de  sus  recursos  humanos  y 
asistir  a los  profesores  en  la  mejora  del  cumplimiento  de  sus  responsabilidades. 
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® Usos  definidos:  Los  usuarios  y los  usos  derivados  de  la  evaluacion  del  profeso- 
rado deberan  ser  identificados  desde  el  principio  del  proceso  evaluativo. 

• Credibilidad  del  evaluador:  La  evaluacion  del  profesorado  debera  ser  dirigida  y 
conducida  por  personal  cualificado,  entrenado,  autorizado,  soportado  y moni- 
torizado. 

• Informe  funcional:  El  informe  producto  de  la  evaluacion  del  profesorado  debe- 
ra ser  claro,  oportuno,  preciso  y pertinente.  Debe  en  definitiva  tener  valor 
practico  para  los  usuarios. 

• Seguimiento  e impacto:  No  basta  con  meramente  informar,  una  evaluacion  de 
calidad  proporcionara  ayuda  a los  usuarios  para  que  tomen  las  acciones  perti- 
nentes  derivadas  de  la  informacion  evaluativa. 

Factibilidad 

La  evaluacion  del  profesorado  debera  ser  de  facil  implementation,  eficiente,  ade- 
cuada  apoyada  y viable  desde  la  perspectiva  de  la  comunidad.  Entre  sus  caracterfsti- 
cas  tendra  que  observar: 

• Procedimientos  practicos:  Los  procedimientos  para  obtener  la  informacion  de- 
ben  ser  justo  los  adecuados  y todo  el  proceso  debe  tener  el  mfnimo  costo  y 
provocar  las  minimas  interrupciones  en  la  practica  diaria. 

• Viabilidad  politica:  Las  polfticas  y los  procedimientos  a establecer  procuraran 
ser  aceptables  para  todos  los  implicados. 

• Viabilidad  fiscal:  El  tiempo  y los  recursos  deberan  ser  los  adecuados,  evitando 
peligro  de  sobredimensionarlos. 

Precision 

Este  estandar  hace  referenda  a la  fidelidad  del  proceso.  Asf  se  exige  que  las  conclu- 
sions deberan  estar  absolutamente  fundamentadas  en  las  evidencias  analizadas.  Pen- 
semos  que  al  ser  una  evaluacion  que  su  objeto  directo  son  personas  habra  que  exigir 
un  esmerada  atencion  a los  detalles  y a la  precision  en  las  afirmaciones.  Entre  sus 
•caracteristicas  senalamos: 

• Fuciones  y responsabilidades  bien  definidas:  Todas  las  partes  involucradas  en 
este  tipo  de  evaluacion,  deberan  tener  homogeneamente  asumidos  y entendi- 
dos  cuales  son  las  responsabilidades  o funciones  (y  su  significado)  que  forman 

, parte  de  los  deberes  del  profesor  y que  van  a constituir  objeto  de  la  evaluacion. 

• Ambiente  de  trabajo:  El  contexto  donde  trabaja  el  profesor  es  evidente  que 
puede  afectar  a su  trabajo,  por  tanto  la  evaluacion  debera  tener  en  considera- 
tion las  posibles  influencias  derivadas  del  mismo. 

• Procedimientos  de  documentation:  La  evaluacion  debera  estar  adecuadamente 
documentada,  de  forma  que  se  pueda  acudir  a la  misma  para  clarificar  los 
extremos  evaluativos. 

• Validez  y fiabilidad  de  los  instrumentos,  estrategias  y procedimientos  usados 
en  la  recogida  de  informacion. 


30  Joan  Mateo 

• Control  sistematico  de  los  datos:  Hay  que  garantizar  que  la  informacion  recogi- 
da  para  desarrollar  los  procesos  evaluativos,  sera  guardada  de  manera  segura  y 
que  sera  procesada  cuidadosamente  de  forma  que  no  se  introduzcan  errores 
durante  el  proceso  de  manipulacion  de  los  datos. 

® Control  de  los  sesgos:  La  evaluation  debera  ser  limpia  e imparcial  para  todos 
los  profesores.  Se  debe  asegurar  la  protection  contra  toda  informacion  afectada 
por  cualquier  tipo  de  parcialidad. 

® Control  sistematico  de  la  evaluacion:  Sera  preciso  revisar  periodica  y cuidado- 
samente los  sistemas  evaluativos  de  forma  que  se  vayan  introduciendo  de 
forma  continua  las  pertinentes  mejoras. 

EVALUACION  Y DESARROLLO  PROFESIONAL 

Entramos  ya  en  la  recta  final  de  nuestro  trabajo  y aunque  sea  muy  brevemente 
queremos  aportar  alguna  reflexion  sobre  el  tema  del  desarrollo  profesional  que  evi- 
dentemente  constituye  una  de  las  consecuencias  derivada  de  los  procesos  de  evalua- 
* cion  de  la  docencia. 

Trataremos  de  exponer  algunos  cambios  que  se  estan  produciendo  en  cuanto  a su 
concepcion.  Asi  en  los  estandares  establecidos  por  el  National  Staff  Development 
Council  (1995a,  1995b,  1995c)  se  introducen  dos  ideas  que  consideramos  de  maximo 
interes  y que  pasamos  a comentar  a continuacion. 

En  primer  lugar  hay  que  romper  con  la  imagen  que  cuando  hablamos  de  desarrollo 
profesional  se  esta  tratando  de  algo  que  afecta  unicamente  a los  profesores.  En  la 
actualidad  se  entiende  como  un  proceso  de  crecimiento  que  afecta  a toda  la  institu- 
cion,  aun  es  mas  a toda  la  comunidad  educativa,  lo  cual  compromete  a todas  las 
personas  que  tengan  algun  impacto  en  la  docencia,  (p.e.:  se  pueden  incluir  hasta  a los 
padres),  como  tambien  a sus  aspectos  organizativos  e incluso  a los  recursos  que  se 
aplican. 

Estamos  frente  a un  modelo  que  entiende  que  el  desarrollo  profesional  es  un 
compromiso  global  del  centro  y que  todos  aquellos  elementos  que  intervienen  favore- 
ciendo  la  mejora  profesional  de  las  actuaciones  en  el  centro  son  objeto  de  atencion  en 
las  acciones  de  desarrollo  profesional. 

En  otra  lfnea  esta  la  segunda  aportacion  del  National  Staff  Development  Council, 
por  la  que  se  amplia  el  campo  de  actuaciones  de  mejora  para  el  desarrollo  profesional 
dirigidas  a los  profesores.  Segun  esta  segunda  aportacion,  no  deberemos  circunscribir 
las  intervenciones  para  el  desarrollo  profesional  a la  formacion  presencial  personal  o 
de  grupo  del  profesorado,  sino  que  en  el  desarrollo  profesional  se  avanza  y se  realiza 
fundamentalmente  a traves  de  la  propia  practica  profesional  y afectando  a todas  sus 
partes. 

Entendemos  que  estas  aportaciones  completan  mejor  nuestras  propuestas  de  mo- 
delo comprensivo  para  la  evaluacion  sistematica  de  la  docencia. 

Asi  y como  resumen  y epilogo,  solo  nos  queda  recordar  que  iniciabamos  nuestro 
recorrido  insistiendo  que  la  evalucion  del  profesorado  cobra  significado  cuando  se 
integra  en  el  concepto  de  evaluacion  de  la  docencia,  entendiendo  la  docencia  como 


33 


La  evaluation  del  pvofesorado  y la  gestion  de  la  calidad  de  la  educacion.  Hacia  un  modelo  comprensivo  ... 


31 


responsabilidad  comun  de  la  institucion  especialmente  de  sus  equipos  docentes,  a su 
vez  la  docencia  responde  a las  directrices  del  modelo  de  calidad  del  centro. 

Seguiamos  con  que  la  recoleccion  de  informacion  para  la  evaluacion  si  quiere 
atender  a tan  vasto  dominio  debera  conjugar  el  uso  de  multiple  documentacion  para 
la  captura  de  toda  la  gama  posible  de  matices  implicitos  en  la  informacion  evaluativa 
con  la  de  otras  informaciones  de  procedencias  diversas.  La  recoleccion  y uso  intensivo 
de  la  informacion  sera  preciso  para  entender  y atender  la  realidad  educativa.  Esta 
informacion  debera  integrarse  en  la  corriente  comun  de  los  planes  estrategicos  si 
queremos  procedimentalizar  no  tan  solo  la  accion  evaluativa  sino  tambien  la  construc- 
tion y seguimiento  de  planes  de  mejora  realistas. 

Finalmente  concluiamos  que  el  desarrollo  profesional  entendido  como  una  de  las 
acciones  derivadas  de  la  evaluacion  debera  superar  anteriores  concepciones  y enten- 
derse  como  una  accion  que  compromete  a toda  la  institucion  y que  se  ejecuta  funda- 
mentalmente  en  el  espacio  profesional  por  ella  enmarcado. 
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RESUMEN 

El  objetivo  de  este  estudio  era  conocer  la  opinion  de  los  alumnos  sobre  el  metodo  docente 
utilizado  en  una  Facultad  de  Ciencias.  Se  realizo  una  encuesta  a los  alumnos  con  preguntas 
sobre:  1)  metodo  docente  preferido  y 2)  metodo  de  estudio  personal  (hdbitos  y tecnicas  de 
estudio).  Algunos  alumnos  se  sometieron  voluntariamente  a un  metodo  docente  basado  en  el 
trabajo  personal  diario  y en  la  evaluacion  continua,  y contestaron  otra  encuesta  para  conocer  su 
opinion  sobre:  1)  el  sistema  de  aprendizaje  preferido  y 2)  el  mecanismo  de  evaluacion  preferido. 
Los  resultados  indican  que  los  alumnos  prefieren  unas  clases  explicativas  y participativas  a 
otras  meramente  expositivas  (magistrales),  y que  ellos  consider  an  que  deben  potenciarse  las 
tecnicas  de  comprension  frente  a las  de  memorizacion.  El  andlisis  estadi'stico  demuestra  que 
pueden  distinguirse  dos  poblaciones  estudiantiles  con  diferente  concepcion  de  la  actividad 
docente  y discente,  que  coinciden  con  los  dos  grupos  de  alumnos  estudiados. 

ABSTRACT 

The  objective  of  this  study  was  to  know  the  opinion  of  the  pupils  about  the  university 
educational  activity  in  a Sciences  Faculty.  A survey  to  the  pupils  was  accomplished  with 
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questions  about  1)  educational  method  preferred,  and  2)  method  of  study  (students'  habits  and 
techniques).  Some  pupils  were  submitted  to  an  educational  method  based  on  the  daily  personal 
work  and  the  continuous  evaluation,  and  they  answered  other  survey  to  know  their  opinion 
about : 1)  preferred  learning  system,  and  2)  preferred  mechanism  of  evaluation.  The  results 
indicate  that  the  students  prefer  an  explanatory  classes  to  other  merely  magisterial  lectures  and 
consider  that  it  must  be  prior  the  comprehension  as  compared  to  the  memorization.  The 
statistic  analysis  demonstrates  that  two  student  populations  with  a different  conception  of  the 
educational  activity,  which  coincide  with  the  two  groups  of  studied  pupils,  can  be  distinguished. 


I.  INTRODUCCION 

Actualmente,  el  metodo  docente  mas  utilizado  en  las  Facultades  y Escuelas  Uni- 
versitarias  de  ciencias  experimentales  es,  probablemente,  la  llamada  leccion  magistral. 
La  leccion  magistral  es,  sin  duda,  una  herramienta  muy  util,  por  cuanto  permite  la 
presentacion  al  alumno  de  mucha  informacion,  de  forma  seleccionada  y resumida. 
Para  el  alumno,  supone  una  gran  ayuda  que  el  profesor  condense  los  aspectos  mas 
importantes  de  la  asignatura  dado  que,  en  ocasiones,  esta  esta  dispersa  en  multiples 
fuentes  de  informacion.  Sin  embargo,  la  leccion  magistral  tiene  una  serie  de  desventa- 
jas.  Asf,  la  gran  cantidad  de  informacion  existente  en  muchas  materias,  y el  cada  vez 
menor  tiempo  lectivo  disponible  para  su  exposicion  en  clase,  hacen  que  el  profesor  se 
limite  a exponer  o dictar  una  serie  de  conocimientos,  lo  que  implica  que  el  alumno  se 
convierta  en  una  maquina  de  copiar,  ya  que  no  hay  tiempo  en  clase  para  la  reflexion  o 
la  discusion.  Como  resultado  de  todo  ello,  en  nuestras  aulas  se  aprecia  una  tendencia 
cada  vez  mayor,  por  parte  de  los  estudiantes,  a limitar  el  habito  de  estudio  a las  fechas 
proximas  a los  examenes  finales  y a reducir  los  contenidos  a aquello  que  se  ha  estudia- 
do  en  clase,  es  decir,  a ser  meros  repetidores  de  aquello  que  han  copiado. 

En  este  contexto,  puede  ser  interesante  conocer  la  opinion  de  los  estudiantes  sobre 
el  metodo  docente.  Aunque  pueda  ser  discutible  el  valor  que  posee  la  opinion  de  los 
alumnos  para  valorar  un  metodo  docente,  no  es  la  primera  vez  que  se  opta  por  este 
abordaje  (Mallado  Rodriguez  y Perez  Lopez  1995).  Ademas,  en  muchas  universidades 
se  estan  realizando  procesos  de  evaluacion  del  profesorado  universitario  que,  general- 
mente,  incluyen  conocer  la  opinion  de  los  alumnos  sobre  los  profesores  (Escotet  1984, 
Sobrado  Fernandez  1991). 

Por  ello,  el  autor  de  este  trabajo  decidio  conocer  cual  era  la  opinion  de  sus  alumnos 
sobre  el  metodo  docente,  para  lo  cual  realizo  una  encuesta  entre  los  estudiantes  de  la 
asignatura  Citologia  e Histologia  de  la  Facultad  de  Ciencias  de  la  UPV  / EHU.  Algunos 
de  estos  alumnos  se  sometieron  voluntariamente  durante  el  curso  a un  metodo  docen- 
te basado  en  el  trabajo  personal  diario  y en  la  evaluacion  continua. 

Los  resultados  indican  un  claro  rechazo  a un  metodo  docente,  ampliamente  utiliza- 
do en  las  facultades  de  ciencias  experimentales,  basado  exclusivamente  en  la  exposi- 
cion oral  del  tema,  asi  como  un  grado  aceptable  de  satisfaccion  por  el  estimulo  al 
estudio  diario.  Ademas,  se  aprecia  la  coexistencia  de  dos  subpoblaciones  de  alumnos: 
una  habituada  al  sistema  actual,  con  menor  tendencia  a demandar  otro  tipo  de  activi- 
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dades,  y que  coincide  con  los  alumnos  que  no  se  sometieron  a la  evaluacion  continua; 
y otro  grupo  formado  por  los  alumnos  que  se  presentaron  voluntarios  a la  evaluacion 
continua,  que  muestran  claramente  una  mayor  predisposicion  a un  metodo  docente 
mas  participativo  y mayor  rechazo  de  la  utilizacion  exclusiva  de  la  leccion  magistral. 

2.  METODOLOGIA 

Noventa  y cuatro  alumnos  de  la  asignatura  «Citologia  e Histologia»  de  2°  curso  de 
la  licenciatura  en  Ciencias  Biologicas  de  la  Facultad  de  Ciencias  de  la  UPV/EHU, 
contestaron  un  cuestionario  (Anexo  I,  cuestionario  A)  sobre  la  actividad  educativa 
universitaria.  En  dicho  cuestionario,  el  alumno  podia  responder  a cada  pregunta 
segun  el  grado  de  acuerdo  o asentimiento  a la  misma,  en  una  escala  del  1 al  5,  donde 
1 significaba  total  desacuerdo  y el  5 asentimiento  total.  Ademas,  se  incluyo  un  aparta- 
do  de  observaciones  donde  el  alumno  pudiera  reflejar  de  forma  mas  concreta  su 
opinion  personal.  Este  cuestionario  incluia  preguntas  que  pretendian  discernir  su 
opinion  sobre  las  siguientes  variables: 

1.  Metodo  de  estudio,  en  concreto  sobre  el  habito  de  estudio  diario  (preguntas  1°  y 
2°)  y sobre  las  tecnicas  de  estudio  (items  8°,  9°  y 10°);  y 

2.  Metodo  docente  preferido  (preguntas  3°,  4°,  5°,  6°  y 7°). 

En  los  items  numero  1°,  9°  y 10°,  relativos  al  metodo  de  estudio,  las  respuestas  de 
asentimiento  (valor  proximo  al  5)  indican  una  predileccion  por  el  estudio  diario  y el 
estudio  reflexivo,  no  de  memorizacion,  al  contrario  que  en  las  cuestiones  numero  2°  y 
8°,  donde  dicha  preferencia  queda  indicada  con  respuestas  de  desacuerdo  (valores 
proximos  al  1).  En  las  cuestiones  referidas  al  metodo  docente,  la  preferencia  por  unas 
clases  mas  participativas  y un  rechazo  a la  leccion  magistral  se  pone  de  manifiesto  con 
respuestas  proximas  al  1 en  las  preguntas  3°,  4°  y 5°,  y con  respuestas  proximas  al  5 en 
los  items  6°  y 7°. 

De  los  94  alumnos  encuestados,  56  se  sometieron  voluntariamente  a un  metodo 
docente  basado  en  el  trabajo  diario  y en  la  evaluacion  continua,  y los  otros  38  fueron 
evaluados  mediante  un  examen  tradicional.  El  metodo  consistia  en  la  preparacion  de 
los  temas  por  los  alumnos  y una  breve  exposicion  ante  sus  companeros.  Ademas, 
algunos  alumnos,  de  forma  voluntaria,  prepararon  seminarios  sobre  temas  no  inclui- 
dos  en  el  programa,  que  expusieron  en  clase.  Al  final  del  curso,  se  pidio  a los  56 
alumnos  que  colaboraron  en  el  sistema  de  evaluacion  continua,  que  contestaran  otro 
cuestionario  (Anexo  II,  cuestionario  B)  de  similares  caracteristicas  que  el  cuestionario 
A,  con  preguntas  sobre: 

(a)  El  sistema  aprendizaje  preferido  (numeros  1°,  2°,  3°  y 4°). 

(b) El  mecanismo  de  evaluacion  preferido  (en  general  todas  las  preguntas,  pero 
especialmente  la  numero  5°). 

En  este  cuestionario,  la  preferencia  por  el  trabajo  y el  estudio  diarios  y la  evalua- 
cion continua  se  corresponde  con  valores  proximos  al  5 en  las  preguntas  1°,  2°  y 4°,  y 
por  respuestas  proximas  al  1 en  las  cuestiones  numero  3°  y 5°,  mientras  que  el  mayor 
grado  de  acuerdo  con  el  metodo  de  evaluacion  tradicional  se  pone  de  manifiesto  por 
las  respuestas  tendentes  a los  valores  contrarios  en  cada  item. 
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Se  estudiaron  las  respuestas  de  los  94  alumnos  encuestados  y,  ademas,  se  analiza- 
ron  los  resultados  dividiendo  a los  alumnos  en  dos  subpoblaciones:  los  alumnos  que 
se  examinaron  de  la  forma  tradicional  (grupo  I,  38  alumnos),  y los  que  se  sometieron 
a evaluacion  continua  (grupo  II,  56  alumnos).  Se  analizaron  y compararon  los  resulta- 
dos de  ambos  grupos  con  el  fin  de  ver  si  habia  diferencias  significativas  entre  ambas 
subpoblaciones.  Se  calculo  la  media  aritmetica  de  los  valores  obtenidos  para  cada 
pregunta,  y se  compararon  ambos  grupos  mediante  el  test  de  la  «t»  de  Student. 

3.  RESULTADOS  Y DISCUSION 

Los  resultados  del  cuestionario  A se  muestran  en  la  tabla  1.  Como  puede  verse,  se 
aprecian  diferencias  significativas  entre  ambas  poblaciones  en  las  respuestas  a las 
preguntas  3°,  5°,  7°  y 10°.  Los  resultados  del  cuestionario  B se  muestran  en  la  tabla  2. 

El  metodo  docente  mas  extendido  en  la  ensenanza  universitaria  en  nuestro  pais, 
tanto  en  las  llamadas  ensenanzas  experimentales  como  en  gran  parte  en  las  humanis- 
ticas,  es  sin  duda  la  llamada  «leccion  magistral  (Mallado  Rodriguez  y Perez  Lopez, 
1995).  El  autor  del  presente  trabajo  se  plantea  investigar  la  mejora  de  su  metodo 
docente  en  el  contexto  de  su  actividad  universitaria.  Como  primera  aproximacion,  en 
este  trabajo  se  trata  de  conocer  la  opinion  de  los  alumnos  sobre  el  metodo  docente  y 
sus  habitos  de  estudio. 

Los  resultados  muestran  un  elevado  rechazo  al  metodo  docente  utilizado  con 
mayor  frecuencia  en  las  facultades  de  ciencias  experimentales  (especialmente  en  la 
Licenciatura  en  Biologia),  que  podriamos  asegurar  que  se  basa  fundamentalmente  en 
la  exposition  de  datos  por  parte  del  profesor,  y en  la  toma  de  apuntes  (a  veces  al 
dictado),  por  el  alumno.  Esto  suele  ir  unido  a una  carencia  de  estimulo  a la  reflexion, 
a la  discusion,  y a la  ampliation  de  conocimientos  por  el  estudiante  y,  ademas,  a una 
evaluacion  final  consistente  en  la  repetition  de  lo  que  el  profesor  «explico»  (y  solo 
eso). 

En  efecto,  si  analizamos  las  respuestas  a las  preguntas  3°  a 6°,  vemos  un  rechazo 
manifiesto  a la  lection  magistral  (cuestion  5°),  si  bien  no  hay  un  rechazo  total  al 
hecho  de  que  el  profesor  dicte  apuntes  (cuestion  6°).  Esta  aparente  contradiction 
refleja,  probablemente,  que  el  metodo  actual  es  comodo  y efectivo  para  el  alumno, 
puesto  que  simplifica  la  labor  de  estudio  con  vistas  al  mero  hecho  de  superar  un 
examen.  Por  lo  tanto,  es  practico  a la  hora  de  aprobar.  Ademas,  los  alumnos  poseen 
pocas  referencias  claras  de  otros  metodos  docentes  (Mallado  Rodriguez  y Perez 
Lopez,  1995).  Sin  embargo,  el  alumno  tiene  conciencia  de  que  este  metodo,  comodo 
y practico,  no  le  permite  en  realidad  un  aprendizaje  efectivo,  real,  de  la  materia 
objeto  de  estudio. 

Estas  conclusiones  se  ven  reforzadas  si  analizamos  las  respuestas  a las  preguntas 
l°-2°  y 8°-10°.  En  este  caso,  vemos  claramente  que  el  alumno  desea  un  metodo  docente 
basado  en  la  reflexion  y la  comprension,  y no  en  la  simple  memorizacion.  Al  respon- 
der estos  items,  los  alumnos  se  decantan  claramente  por  la  comprension  frente  a la 
memorizacion,  al  estudio  diario  contra  el  de  los  ultimos  dias,  al  trabajo  personal 
contra  el  resumen  dictado  por  el  profesor. 
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El  hecho  de  que  los  alumnos  piensen  mayoritariamente  que  es  necesario  el  estudio 
diario  (numero  1),  algo  que  muy  pocos  cumplen,  es  significativo  de  que  el  metodo 
docente  basado  en  la  leccion  magistral  no  estimula  este  habito.  Cabe  preguntarse 
entonces  que  hace  que  la  leccion  magistral  sea,  no  ya  el  metodo  docente  mas  extendi- 
do;  sino  casi  el  unico  que  se  practica  en  muchas  aulas  universitarias.  Santos  Guerra 
(1992)  indica  que  la  actividad  de  los  docentes  universitarios  esta  sometida  a diversos 
condicionantes  que  le  hacen  perpetuarse  y repetirse  de  forma  casi  monotona;  y plan- 
tea  dos  tipos  de  motivos: 

• Motivos  diacronicos:  la  imagen  que  tenemos  de  profesores  que,  cuando  eran 
alumnos  los  que  ahora  imparten  clase,  imperaba  en  la  Universidad. 

• Motivos  sincronicos:  es  decir,  el  trabajo  repetitivo  dia  a dia,  ano  tras  ano,  en  un 
contexto  institucional  y profesional  poco  favorable  al  cambio. 

Otro  hecho  importante  que  destaca  si  analizamos  detenidamente  los  resultados,  es 
la  coexistencia  de  dos  subpoblaciones  entre  los  alumnos,  que  coinciden  con  los  que 
optaron  por  el  metodo  de  evaluacion  continua  y los  que  prefirieron  el  examen  tradi- 
cional.  Por  tanto,  el  hecho  de  que  algunos  alumnos  escogieran  el  metodo  basado  en  el 
trabajo  diario  y otros  no,  es  simplemente  un  reflejo  de  la  coexistencia  entre  ellos  de  dos 
poblaciones  diferenciadas:  un  conjunto  de  alumnos  habituados  en  mayor  o menor 
medida  al  estudio  diario  y predispuestos  por  tanto  al  trabajo  intenso,  que  constituyen 
el  grupo  II  que  se  sometio  a la  prueba;  y otra  poblacion  de  alumnos  que,  por  habito, 
han  optado  por  el  estudio  para  el  examen  final  y rechazan,  de  forma  mas  o menos 
consciente,  el  trabajo  diario. 

La  afirmacion  anterior  se  sustenta  claramente  mediante  el  analisis  de  las  diferen- 
cias  encontradas  en  las  respuestas  al  cuestionario  A.  Asf,  en  las  respuestas  a las 
preguntas  3°,  5°,  7°  y 10°  hay  diferencias  significativas.  Concretamente,  estas  preguntas 
hacen  referenda  a cual  debe  ser  la  actitud  del  profesor  o del  alumno  en  el  aula,  es 
decir,  el  metodo  docente  que  debemos  emplear.  Los  alumnos  del  grupo  I muestran 
mayor  tendencia  hacia  un  profesor  repetidor  de  datos,  que  no  pregunte  en  clase,  que 
no  exija  esfuerzos  a diario.  En  cambio,  el  grupo  II  (alumnos  que  optaron  por  la 
evaluacion  continua)  tiende  claramente  a lo  contrario,  es  decir,  a demandar  un  profe- 
sor que  dialogue,  pregunte  y responda  a las  preguntas. 

■ Podrfa  pensarse  que  esta  division  entre  dos  poblaciones  estudiantiles  es  artificial, 
ya  que  en  el  resto  de  las  preguntas  no  se  observan  diferencias  significativas.  Si 
analizamos  el  contenido  de  dichas  preguntas  vemos  que  esto  no  es  asf.  Estas  cuestio- 
nes  hacen  referenda  fundamentalmente,  no  a la  actitud  del  profesor  (metodo  docen- 
te), sino  a la  actitud  del  propio  alumno  (metodo  de  aprendizaje).  Aunque  probable- 
mente  ambas  poblaciones  muestren  habitos  de  estudio  diferentes,  estas  diferencias 
no  se  ponen  de  manifiesto  en  los  resultados  por  varias  razones.  En  primer  lugar, 
aunque  un  alumno  no  tenga  habito  de  estudio  diario,  generalmente  reconoce  que 
este  es  fundamental  para  retener  conceptos.  En  segundo  lugar,  si  un  alumno  que 
piensa  de  forma  contraria  es  preguntado  sobre  el  tema,  raramente  va  a reconocer 
que  sus  habitos  de  estudio  son  defectuosos,  que  solo  memoriza  o que  no  suele 
en  tender  lo  que  estudia.  Vemos  que  se  solapan  dos  factores  aparentemente  opues- 
tos,  el  reconocimiento  de  lo  que  se  hace  o no  se  hace  bien  y la  ocultacion  de  este 
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mismo  hecho.  Elio  hace,  en  resumen,  que  los  datos  con  respecto  a ambas  poblacio- 
nes  no  muestren  diferencias. 

Por  otra  parte,  los  alumnos  sometidos  a evaluacion  continua,  que  respondieron  a 
las  preguntas  del  cuestionario  B,  se  muestran  satisfechos  por  el  estimulo  al  trabajo  y al 
estudio  diarios  y rechazan  claramente  el  examen  final.  La  critica  negativa  se  centro 
mas  en  torno  al  metodo  empleado  en  este  caso  concreto,  dado  que  el  elevado  numero 
de  alumnos,  la  corta  duracion  de  la  asignatura  y el  hecho  de  que  otros  alumnos  no  se 
prestaran  voluntaries  a este  sistema,  no  facilitaron  la  labor  docente. 

Es  significative)  senalar  que,  en  el  apartado  de  observaciones,  muchos  encuestados 
senalaron  criticas  y comentarios  interesantes,  muchas  veces  en  un  sentido  favorable  al 
ensayo  realizado  y con  rechazo  del  metodo  tradicional.  En  general,  los  alumnos  se 
mostraron  muy  criticos  a la  masificacion  en  las  aulas  y reconocieron  que  este  factor  era 
el  principal  responsable  del  desarrollo  indiscriminado  de  un  sistema  docente  viciado, 
como  el  que  actualmente  sufren. 

Creo  que  es  interesante  resumir  algunas  de  las  opiniones  expresadas  por  los  alum- 
nos en  este  apartado.  Dejando  aparte  aquellas  observaciones  que  hacen  referencia  al 
metodo  concreto  seguido  en  la  clase,  o las  aptitudes  del  profesor,  y centrandonos  en 
las  que  hacian  referencia  a consideraciones  mas  generates,  he  seleccionado  aquellas 
que  me  han  parecido  mas  interesantes,  lo  que  puede  conferir  a esta  muestra  cierto 
grado  de  subjetividad: 

• Si  hubiera  mas  material  actualizado  en  la  biblioteca  podriamos  aprender  mucho 
mas. 

® Es  dificil  de  asimilar  tantos  conceptos  en  una  asignatura  cuatrimestral. 

• Ha  faltado  tiempo  para  realizar  una  buena  evaluacion  continua. 

• Era  poco  tiempo  para  poder  evaluar  bien. 

• El  profesor  debe  exponer  los  conceptos  fundamentales...  pero  no  esta  de  mas 
que  el  alumno  desarrolle  lo  ensenado  e investigue  por  su  cuenta. 

• Creo  que  los  profesores  que  solo  se  dedican  a dar  la  leccion  magistral  se  debe- 
rian  dedicar  a otras  labores. 

• Ningun  metodo  es  totalmente  perfecto,  aunque  creo  que  sinceramente  es  mejor 
que  soltar  el  rollo. 

• Deberia  haber  mas  horas  de  clase  para  dar  los  mismos  temas...  que  no  sean 
cuatrimestrales. 

• Esto  es  lo  que  creo  que  serfa  mejor,  pero  hay  que  considerar  lo  que  de  verdad  se 
podria  hacer. 

• Este  metodo  serfa  perfecto  para  una  clase  con  menos  alumnos... 

• Creo  que  el  metodo  es  bueno  porque  te  obliga  a estudiar  dia  a dia...  yo  me 
entero  mas  de  un  tema  trabajando  sobre  el  que  estudiando  y repitiendo  como 
un  loro. 

En  resumen,  podemos  decir  que  el  sistema  docente  basado  unicamente  en  la  tec- 
cion  magistral  supone  ciertas  desventajas  y conlleva  un  desarrollo  defectuoso  del 
proceso  de  aprendizaje,  viciando  los  habitos  de  estudio  del  alumno.  Por  tanto,  debe- 
mos  evitar  caer  en  la  tentacion  de  utilizar  la  leccion  magistral,  que  evidentemente 
presenta  muchas  ventajas,  como  el  unico  metodo  docente.  Se  hace  recomendable 
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simultanear  este  metodo  con  otras  actividades  que  estimulen  la  participacion  y el 
trabajo,  personal  y en  grupo,  de  los  alumnos.  Estos  se  muestran  receptivos  a un 
cambio  metodologico,  pese  a la  habitual  resistencia  al  cambio  que  siempre  se  aprecia. 
Sin  embargo,  el  cambio  metodologico  debe  ser  realizado  en  condiciones  de  trabajo 
optimas,  lo  que  resulta  dificilmente  viable  con  la  actual  masificacion  de  las  aulas 
universitarias. 

Como  dice  Santos  Guerra  (1990),  «desde  la  interrogacion  sistematica  sobre  lo  que 
se  hace,  se  puede  llegar  a descubrir  aquello  que  no  esta  en  la  superficie,  que  es  preciso 
hacer  presente  a traves  de  un  proceso  elaborado  de  busqueda».  Este  es  un  proceso 
paciente  y constante.  Por  tanto,  este  trabajo  no  es  mas  que  un  planteamiento  de 
interrogantes  sobre  nuestra  actividad  docente.  Para  mejorar  nuestra  actividad  debe- 
mos  preguntarnos  los  porques,  asumir  una  actitud  de  busqueda,  de  investigacion 
sobre  la  practica  diaria.  Es,  en  el  fondo,  la  base  de  la  investigacion-accion,  es  decir, 
hacer  un  diagnostico  del  problema  (Elliot,  1990). 
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Anexo  I:  Cuestionario  A 

1°.  La  base  del  estudio  consiste  en  estudiar  todos  los  di'as. 

2°.  Es  suficiente  con  estudiar  los  di'as  antes  del  examen. 

3°.  El  profesor  debe  dictar  al  alumno  aquello  de  lo  que  luego  le  va  a examinar. 

4°.  En  clase,  el  alumno  debe  copiar  todo  lo  que  dice  el  profesor. 

5°.  El  tipo  de  clase  que  mas  me  gusta  es  la  leccion  magistral. 

6°.  La  clase  deberia  utilizarse  para  aclarar,  discutir  y/o  debatir  aquellos  puntos  mas 
interesantes  de  cada  tema. 

7°.  Me  gusta  que  el  profesor  pregunte  en  clase. 

8°.  Aprendo  las  cosas  de  memoria,  aunque  no  lo  entienda. 

9°.  Lo  mas  importante  es  comprender  e interrelacionar  conceptos. 

10°.  Es  muy  util  para  la  formation  del  alumno  preparar  e impartir  seminarios  (respon- 
da  solo  si  ha  preparado  algun  seminario  alguna  vez  en  alguna  asignatura). 

Anexo  II:  Cuestionario  B 

1°.  Realizando  esquemas  he  aprendido  el  tema. 

2°.  Habrfa  preferido  que  el  profesor  preguntara  mas  en  clase. 

3°.  Hemos  realizado  suficientes  actividades  en  clase. 

4°.  Es  mejor  preparar  el  tema  en  casa  y trabajar  sobre  el  en  clase. 

5°.  Prefiero  estudiar  para  un  examen  final. 

TABLA  1 

RESULT  ADOS  DEL  CUESTIONARIO  A.  LOS  DATOS  SE  MUESTRAN  COMO  MEDIA 
ARITMtTICA  DE  LA  OPINION , REFLEJADA  COMO  GRADO  DE  ACUERDO  DE  LOS 
ALUMNOS  CON  LA  PREGUNTA  O AFIRMAClON  PLANTEADA , DONDE  1 
SIGNIFICA  DESACUERDO  TOTAL  Y 5 ACUERDO  TOTAL.  ENTRE  PARtNTESIS  SE 
MUESTRA  LA  VARIANZA.  SE  HAN  SENALADO  CON  UN  ASTERISCO  LAS 
PREGUNTAS  QUE  PRESENTAN  DIFERENC1AS  S1GN1F1CATIVAS 


PREGUNTA 

GRUPO  I 

GRUPO  II 

1° 

3,9  (0,98) 

4,2  (0,75) 

2° 

2,1  (0,82) 

1,9  (0,71) 

3°  * 

3,5  (1,33) 

2,6  (1,36) 

4° 

2,6  (1,43) 

2,2  (1,06) 

5°  * 

2,1  (1,28) 

1,6  (1,03) 

6° 

3,6  (1,44) 

3,7  (1,31) 

JO  * 

2,2  (1,48) 

2,9  (1,25) 

8° 

1,9  (0,77) 

1,8  (0,79) 

9° 

4,7  (0,31) 

4,9  (0,16) 

10°  * 

3,3  (1,87) 

4,3  (1,01) 
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TABLA  2 

RESULTADOS  DEL  CUESTI0NAR10  B.  LOS  RESULTADOS  SE  MUESTRAN  COMO 

EN  LA  TABLA  1. 


PREGUNTA 

GRUPO  II 

i° 

4,2  (0,57) 

2° 

2,9  (1,41) 

3° 

2,7  (1,28) 

4° 

4,1  (0,59) 

5° 

1,3  (0,43) 
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HABILIDAD  MOTRIZ  DE  SALTO  PARA  LA 
EDUCACION  FISICA  EN  EDUCACION  PRIMARIA 
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RESUMEN 

Se  ha  disehado  un  conjunto  de  pruebas  con  nivel  de  dificultad  creciente,  siguiendo  el 
modelo  probabilistico  de  Rasch,  con  el  objetivo  de  evaluar  la  habilidad  motriz  de  salto  (conteni- 
do  del  area  de  Educacion  Fi'sica)  del  alumnado  de  Educacion  Primaria. 

Los  estadisticos  empleados  para  este  tipo  de  pruebas  confirman  la  validez  yfiabilidad  de  las 
mismas,  de  manera  cjue  para  su  aplicacion  se  ha  elegido  una  muestra  de  alumnos  de  las  edades 
correspondientes  a la  etapa  de  Educacion  Primaria  (n=1951;  1057  chicos  y 894  chicas).  Los 
resultados  han  permitido  elaborar  tareas  con  tres  niveles  de  dificultad  (alta,  media  y baja)  para 
evaluar  la  habilidad  motriz  de  salto  en  cada  grupo  de  edad  y entre  los  dos  sexos. 
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Sanchez  Banuelos. 
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ABSTRACT 

It  has  been  designed  a tests  with  growing  difficulty  level,  continuing  the  Rasch  probability 
model,  with  the  objective  of  evaluating  the  motor  jump  ability  (content  from  the  Physical 
Education  area)  of  the  Primary  Education  students. 

The  statistic  used  for  this  type  of  tests  confirm  the  validity  and  reliability  of  the  same,  so 
that  for  its  application  has  been  elected  a pupils  sample  of  the  corresponding  ages  to  the 
Primary  Education  stage  (n=1951;  1057  kids  and  894  girls).  The  results  have  permitted  to 
elaborate  tasks  with  three  difficulty  levels  (high,  mean  and  low)  to  evaluate  the  motor  jump 
ability  in  each  group  of  age  and  between  the  two  sexes. 


I.  INTRODUCCION 

La  Educacion  Ffsica  en  la  Educacion  Primaria  ofrece  una  amplia  variedad  y opcio- 
nes  para  lograr  los  objetivos  generates  propuestos  en  la  LOGSE.  En  los  contenidos  y 
los  criterios  de  evaluation  se  exponen  diferentes  formas  y atienden,  de  manera  mas  o 
menos  acertada,  a las  habilidades  motrices  de  los  alumnos  de  estas  edades.  Estas 
habilidades  expresadas  en  el  curriculum  (BOE,  1992)  tienen  un  marcado  caracter 
cualitativo,  que  tambien  se  confirma  desde  el  punto  de  vista  pedagogico  (Cratty,  1982; 
Gallahue,  1982;  Rigal,  1987;  Ruiz  Perez,  1987;  Singer,  1986). 

Si  observamos  los  bloques  de  contenidos  del  area,  el  denominado  «E1  cuerpo: 
habilidades  y destrezas»  contiene  el  salto  entre  sus  habilidades.  Del  mismo  modo, 
entre  los  criterios  de  evaluacion,  el  n°  3 incide  en:  «saltar  coordinadamente  batiendo 
con  una  o ambas  piernas  en  funcion  de  las  caracteristicas  de  la  accion  que  se  va  a 
realizar».  El  salto  sera,  por  lo  tanto,  una  capacidad  de  especial  importancia  a lo  largo 
de  la  etapa  de  Educacion  Primaria. 

Las  habilidades  y destrezas  basicas,  a diferencia  de  las  habilidades  motrices  especi- 
ficas,  son  comunes  a todos  los  sujetos,  porque  desde  el  punto  de  vista  filogenetico,  han 
permitido  la  supervivencia  del  ser  humano,  son  la  base  de  posteriores  aprendizajes 
motores  y tienen  un  caracter  funcional  (Ruiz  Perez,  1987).  Con  objeto  de  clasificarlas, 
estas  habilidades  se  pueden  agrupar  bajo  tres  diferentes  criterios:  a)  habilidades  mo- 
trices basadas  en  la  locomocion;  b)  habilidades  motrices  basadas  en  el  manejo  y 
dominio  del  cuerpo  en  el  espacio;  y c)  habilidades  motrices  basadas  en  la  manipula- 
cion  de  moviles. 

Concentrando  nuestra  atencion  en  el  segundo  apartado,  el  salto  es  una  habili- 
dad  que  consiste  en  el  manejo  y dominio  del  cuerpo  en  el  espacio,  que  a su  vez 
puede  verse  condicionado  con  la  locomocion  y el  manejo  de  moviles.  Sin  embargo, 
desde  un  punto  de  vista  singular,  el  salto  se  observa  segun  el  grado  y control  que 
se  tiene  del  cuerpo  en  el  espacio.  Es  por  eso  que  en  el  ambito  educativo,  y aten- 
diendo  al  proceso  madurativo,  necesitamos  conocer  que  dominio  tiene  el  alumna- 
do  a lo  largo  de  la  edad  escolar,  para  presentar  diferentes  tareas  que  permitan 
afianzar  esta  habilidad  con  el  fin  de  utilizarse  dentro  de  un  marco  de  aprendizaje 
significativo. 
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Pero  no  solo  debemos  atender  el  aprendizaje,  ya  que  el  profesorado  de  Educacion 
Fisica  se  encuentra  con  la  necesidad  de  conocer  el  nivel  de  su  alumnado  para  desarro- 
llar  su  actividad  adecuadamente  (BOE,  1992;  Coll,  1992;  MEC,  1992).  Como  estas 
habilidades  tienen  un  caracter  procedimental,  es  necesario  que  se  puedan  abordar 
atendiendo  a un  orden  progresivo  adecuado  al  proceso  madurativo  del  alumnado, 
con  el  apropiado  componente  de  significacion  y funcionalidad,  para  que  dicho  alum- 
nado pueda  desarrollar  su  actividad  de  manera  independiente  (Zabala,  1993). 

Para  comprobar  la  adquisicion  de  las  habilidades  motrices  existen  diferentes  pro- 
puestas,  pero  en  la  mayoria  de  los  casos,  estas  pruebas  se  han  dirigido  al  aspecto 
cuantitativo  del  salto  (distancia,  numero  de  repeticiones,  etc.),  y no  asi  en  cuanto  al 
dominio  de  la  propia  habilidad  (coordinacion,  equilibrio,  etc.),  como  es  el  caso  del 
AAHPER  Test  y el  CAHPER  Fitness  Performance  Test  Bateries  (Litwin  y Fernandez, 
1982),  y la  baterfa  Eurofit,  disenada  por  el  Comite  para  el  Desarrollo  del  Deporte  en  el 
Consejo  de  Europa  (Council  of  Europe,  1981;  Council  of  Europe,  1982a;  Council  of 
Europe,  1982b;  Council  of  Europe,  1983),  que  se  ha  utilizado  en  nuestro  pais  en 
diferentes  estudios  de  investigacion  y aplicacion  (Blazquez,  1990). 

Cuando  se  ha  afrontado  el  componente  cualitativo  de  esta  habilidad,  aunque  hay 
propuestas  interesantes  que  han  ofrecido  ayuda  al  profesorado,  como  es  el  caso  de  los 
trabajos  de  Picq  y Vayer  (1969),  Bucher  (1973)  y Vayer  (1977).  Su  aplicacion  no  ha 
seguido  el  mismo  rigor  como  en  los  casos  antes  mencionados,  de  manera  que  las 
diferentes  opciones  de  tests  y pruebas  nos  presentan  tareas  reducidas  y en  muchas 
ocasiones,  no  se  han  podido  aplicar  sobre  la  poblacion  escolar,  sino  en  situaciones 
limitadas  que  no  permiten  una  generalizacion.  Por  ejemplo,  Litwin  y Fernandez  (1982) 
muestran  dos  baterfas  de  tests  que  sirven  para  medir  las  habilidades  motrices  en  la 
ensenanza  primaria,  el  Test  de  Habilidad  Motora  para  Primaria  y el  Iowa  Brace  Test. 
En  ambos  casos,  el  conjunto  de  tareas  se  dirigen  a todas  las  habilidades,  comprendien- 
do  siete  y 21  pruebas  respectivamente,  y solo  algunas  de  ellas  se  emplean  para  la 
habilidad  de  salto.  Blazquez  (1990)  tambien  expone  baterfas  de  tests  para  la  evalua- 
tion de  la  habilidad  motriz  en  general,  pero  que  no  son  bastantes  para  profundizar 
hasta  un  nivel  que  aclare  el  dominio  que  tiene  el  alumnado  y que  permita  una  aplica- 
cion conveniente  del  proceso  de  ensenanza  aprendizaje.  En  cuanto  a los  resultados  de 
otros  estudios,  no  parece  que  sean  lo  suficientemente  amplios  como  para  poder  gene- 
ralizar  (Graham,  1991;  Roca,  Cid  e Iriarte,  1982).  En  suma,  nos  encontramos,  con  la 
necesidad  de  poseer  instrumentos  que  ayuden  al  profesorado  de  Educacion  Fisica  a 
evaluar  de  una  manera  precisa  la  progresion  en  el  ambito  de  las  habilidades  motrices, 
y en  el  caso  que  nos  ocupa,  de  la  habilidad  de  salto. 

2.  LAS  HABILIDADES  Y DESTREZAS  MOTRICES  BASICAS  EN  EDUCACION 

FISICA:  EL  SALTO 

El  salto  consiste  en  una  batida  con  las  piemas  que  hace  que  el  cuerpo  se  quede 
suspendido  en  el  aire  por  muy  breves  decimas  de  segundo,  para  volver  a caer.  Se 
encuentra  influido  por  el  desplazamiento,  por  lo  que  los  ninos  de  edades  tempranas 
adquieren  esta  capacidad  simultaneamente,  aunque  tienden  a dominar  mejor  los  des- 
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plazamientos  que  los  saltos.  Si  en  los  desplazamientos,  fundamentalmente  la  carrera, 
el  equilibrio  tiene  importancia,  en  el  salto,  en  toda  su  extension,  este  mismo  equilibrio 
es  trascendental. 

La  habilidad  de  salto  supone  una  actividad  donde  la  experimentacion  y utilizacion 
del  cuerpo  en  el  espacio  sirve  para  comprobar  diferentes  situaciones  y formas  de 
ejecucion,  permitiendo  que  el  aprendizaje  sobre  el  dominio  corporal  evolucione,  asi- 
milandose  como  una  de  las  mas  importantes  formas  de  movimiento,  y aunque  esta 
habilidad  tiene  un  marcado  componente  filogenetico,  el  aprendizaje  permite  que  se 
vaya  afianzando.  Es  decir,  el  salto  se  desarrolla  y afirma  mediante  una  correcta  ense- 
nartza,  pasando  de  una  ejecucion  imprecisa  inicial  a una  soltura  mayor  en  su  etapa 
final.  Un  adecuado  control  de  la  actividad  y del  equilibrio  permite  que  este  salto  sea 
considerado  como  optimo,  de  acuerdo  a diferentes  interpretaciones. 

Para  poder  introducir  diferentes  opciones  en  esta  habilidad  tenemos  que  observar 
las  variables  que  la  componen:  impulso,  vuelo  y caida.  Estas  tres  fases  suponen  una 
actuacion  con  principio  y fin,  es  decir  que  una  vez  se  ha  comenzado  implica  una 
continuidad  sin  interrupcion.  Segun  Wickstrom  (1990),  el  salto  puede  clasificarse  se- 
gun el  tipo  y la  direccion.  Segun  el  tipo  podra  realizarse  con  una  o dos  piernas  y la 
direccion  puede  ser  adelante-atras,  arriba-abajo  o lateral.  Ademas,  se  puede  anadir  la 
posibilidad  de  realizar  saltos  ritmicos.  Segun  la  terminologia  de  control  y extension  de 
los  movimientos  utilizada  por  Singer  (1986),  el  salto  entraria  dentro  de  las  habilidades 
discretas,  aunque  los  saltos  sucesivos  podrian  considerarse  como  tareas  continuas. 

Si  analizamos  los  tres  componentes  citados,  en  la  fase  de  impulso  es  cuando  se 
proporciona  una  fuerza  sobre  uno  o dos  pies  para  elevar  al  cuerpo  del  suelo,  este 
impulso  puede  verse  acompahado  con  la  ayuda  de  la  carrera,  pero  en  el  caso  de  no 
utilizar  la  carrera  es  necesaria  la  ayuda  de  todo  el  cuerpo,  en  especial  la  accion  de  los 
brazos.  Los  antecedentes  sobre  el  analisis  biomecanico  del  salto  (Dyson,  1978;  Hoch- 
muth,  1973)  demuestran  esta  ayuda  de  los  brazos  y el  papel  que  juega  el  equilibrio 
durante  el  mismo.  Tambien  desde  el  punto  de  vista  del  desarrollo,  se  ha  observado  lo 
esencial  que  es  la  ayuda  del  movimiento  de  los  brazos  en  la  ejecucion  de  esta  habili- 
dad, asf  como  la  necesidad  de  mantener  el  cuerpo  adecuadamente  para  evitar  que  el 
salto  sea  descoordinado  (Cratty,  1982;  Ruiz  Perez,  1987;  Wickstrom,  1990). 

En  la  segunda  fase,  durante  el  vuelo,  el  cuerpo  se  encuentra  suspendido,  permitien- 
do que  puedan  introducirse  otros  elementos  que  repercuten  en  la  dificultad  del  mismo, 
ya  que  vuelve  a ser  necesario  mantener  el  equilibrio  pensando  en  la  caida.  En  el  vuelo 
tambien  es  conveniente  un  control  y ayuda  de  los  brazos  para  que  sea  uniforme. 

En  la  fase  tercera,  la  caida,  el  cuerpo  vuelve  a tomar  contacto  con  la  superficie  sobre 
la  que  se  desea  caer.  En  esta  fase  es  necesario  el  control  corporal  para  evitar  una  caida 
desequilibrada  que  repercuta,  bien  en  la  accion  que  se  ha  realizado,  o bien  en  otro 
movimiento  que  tenga  que  realizarse  a continuacion.  Por  regia  general,  la  caida  suele 
realizarse  sobre  los  pies,  no  obstante,  tambien  se  puede  caer  con  otras  partes  del 
cuerpo,  comprometiendo  la  siguiente  actuacion. 

Desde  el  punto  de  vista  madurativo  y del  aprendizaje,  el  salto  puede  tener  diferen- 
tes dificultades,  de  manera  que  un  salto  para  un  nino  de  diez  anos  puede  ser  muy 
sencillo  y ese  mismo  salto  para  un  nino  de  seis  anos  puede  ser  muy  complejo  (Gall- 
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ahue,  1982).  Es  necesario,  por  lo  tanto,  establecer  niveles  de  dificultad  para  diversificar 
los  diferentes  saltos  que  pueden  realizarse  en  cada  grupo  de  edad  y la  progresion  que 
deberxa  seguirse  para  emplear  un  nivel  de  dificultad  logico. 

Cratty  (1982)  senala  que  a los  seis  anos,  los  nifios  son  capaces  de  realizar  saltos 
rxtmicos  con  un  pie,  pasando  de  uno  a otro  sin  salir  de  su  lugar.  Esto  permite  que  se 
pueda  evaluar  el  salto  de  forma  que  se  observe  si  los  ninos  son  capaces  de  realizar 
saltos  con  uno  o ambos  pies  y cayendo  dentro  de  lugares  determinados.  Este  mismo 
autor  presenta  la  evolucion  de  la  capacidad  de  saltar  en  altura  y longitud,  segun 
aumenta  la  edad.  Los  aspectos  madurativos  y la  experiencia,  ya  sea  en  el  contexto 
escolar  o no,  tambien  influyen  en  el  dominio  de  esta  habilidad,  unidos  a otros  aspectos 
de  la  motricidad  (Ruiz  Perez,  1987). 

Pero  la  posibilidad  de  mejorar  la  ejecucion  del  salto  no  depende  solo  de  aspectos 
evolutivos,  aunque  estos  deban  estar  presentes  para  poder  avanzar  en  su  mejora. 
Como  elemento  de  la  coordination  dinamica  general,  Le  Boulch  (1986)  presenta  las 
tareas  de  salto  como  ejercicio  que  implica  el  control  de  los  desplazamientos  en  cuanto 
a la  perception  espacio-temporal  en  los  ninos  entre  los  seis  y ocho  anos.  Estas  tareas  se 
utilizan  para  superar  obstaculos  en  diversos  recorridos.  Cuando  los  alumnos  son  mas 
mayores,  las  tareas  aumentan  en  dificultad,  incluyendo  el  desplazamiento  como  ayu- 
da  para  aumentar  la  capacidad  de  salto. 

La  progresion  en  la  habilidad  de  saltar  ha  sido  considerada  por  varios  autores. 
Wickstrom  (1990)  presenta  una  evolucion  de  esta  habilidad,  desde  la  edad  de  dos 
anos,  en  la  que  los  ninos  y las  ninas  pueden  saltar  desde  una  altura  de  30  cm.  con  un 
pie  adelantado,  hasta  la  edad  de  tres  anos  y medio  en  la  que  consiguen  saltar  a la  pata 
coja  sobre  un  pie  de  una  a tres  veces.  Este  mismo  autor  (Wickstrom,  1990)  presenta 
una  progresion  en  la  dificultad  de  realization  de  salto  que  puede  observarse  en  la 
tabla  1. 


TABLA  1 

TIPOS  DE  SALTOS  QUE  CONSIGUEN  LOS  NINOS  EN  TtRMINOS  DE 
DIFICULTAD  PROGRESIVA  SEGUN  WICKSTROM  (1990,  p.  83) 

Salto  hacia  abajo  con  un  pie,  cayendo  sobre  el  otro 
Salto  hacia  arriba  con  los  dos  pies,  cayendo  sobre  ambos 
Salto  hacia  abajo  con  un  pie,  cayendo  sobre  ambos 
Salto  hacia  abajo  con  dos  pies,  cayendo  sobre  ambos 
Carrera  y salto  hacia  delante  con  un  pie,  cayendo  sobre  el  otro 
Salto  hacia  delante  con  los  dos  pies,  cayendo  sobre  ambos 
Carrera  y salto  hacia  delante  con  xin  pie,,  cayendo  sobre  ambos 
Salto  por  encima  de  xin  objeto  con  dos  pies,  cayendo  sobre  ambos 
Salto  sobre  el  mismo  pie  de  modo  rxtmico 


Otro  ejemplo  sobre  la  evaluation  del  salto  es  el  propuesto  por  Da  Fonseca  (1988), 
que  presenta  xinas  pruebas  donde  se  trata  de  comprobar  el  grado  de  adquisicion  que 
tienen  los  alumnos  en  distintas  tareas.  El  autor  propone  una  serie  de  escalas  de 
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identification  del  desarrollo  motor  entre  las  que  incluye  una  evolution  entre  los  seis  y 
los  ocho  anos  con  la  progresion  en  dificultad  que  puede  observarse  en  la  tabla  2 y en 
las  que  se  mezclan  elementos  cualitativos  y cuantitativos  de  esta  habilidad.  Sin  embar- 
go, creemos  que  hay  que  utilizar  distintos  criterios  para  estos  elementos,  ya  que  las 
diferencias  de  talla  en  estas  edades  puede  significar  que  se  consiga  realizar  o no 
algunas  de  las  tareas  senaladas.  Si  es  muy  interesante  su  propuesta  de  verificar  una 
correcta  action  durante  la  execution,  ya  que  esto  permitira  realizar  un  perfil  perceptivo 
motor  en  las  edades  de  estudio. 


TABLA  2 

DIFERENTES  TAREAS  DE  SALTO  EN  PROGRESlON  DE  DIFICULTAD  CON 
NINOS  Y NINAS  ENTRE  LOS  6 Y LOS  9 ANOS  SEGUN  DA  FONSECA  (1988) 


6 anos:  se  intenta  identificar  si  salta  desde  40  cm.  cayendo  con  pies  juntos. 

6-7  anos:  salto  con  dos  pies  juntos  desde  1 m. 

6-7  anos:  salto  vertical  de  20-25  cm. 

6- 7  anos:  Saltos  continuos  con  un  pie  al  frente  y el  otro  manteniendole 

detras,  cambiando  de  pie  cada  5 saltos. 

7- 8  anos:  saltos  de  obstaculos  de  30-35  cm.  de  altura. 

8- 9  anos:  carrera  a la  pata  coja  y saltando. 

La  comprobacion  del  aumento  de  la  capacidad  de  salto  desde  el  punto  de  vista 
cuantitativo  progresa  con  la  edad  (Beunen,  1989;  Manila  y Bouchard,  1991)  y lo  hace 
de  forma  lineal,  diferenciandose  en  las  ninas  alrededor  de  la  pubertad.  Ruiz  Perez 
(1987)  senala  que  en  los  saltos  con  un  apoyo  y entre  los  seis  y los  nueve  anos,  las  ninas 
suelen  aventajar  a los  nihos.  En  cuanto  a los  saltos  en  longitud  y altura,  los  ninos 
tienden  a superar  a las  ninas  en  toda  la  etapa  primaria,  haciendose  mas  patente  con  la 
pubertad.  En  cualquier  caso,  este  componente  de  superioridad  de  los  chicos  sobre  las 
chicas  hay  que  circunscribirlo  al  aspecto  cuantitativo  del  salto,  es  decir  mas  alto  o mas 
lejos.  No  obstante,  los  autores  siguen  enfatizando  que  en  edades  anteriores  a la  puber- 
tad, las  diferencias  apenas  son  significativas  en  relation  con  el  sexo  (Rowland,  1990), 
aunque  en  el  caso  del  salto  coordinado,  las  ninas  superan  a los  ninos. 

Ademas  de  las  diferencias  entre  sexos,  otros  factores  influyen  en  gran  medida  en 
esta  y otras  habilidades  motrices.  Aspectos  como  la  madurez  mental,  la  estatura,  el 
peso  y la  composition  corporal,  la  practica  extraescolar,  la  desnutricion  o sobrealimen- 
tacion,  y diferentes  factores  sociales,  afectan  significativamente  al  conjunto  de  las 
habilidades  motrices  basicas  (Manila  y Bouchard,  1991). 

El  salto  tambien  tiene  otros  apartados  que  pueden  hacerlo  mas  complejo.  En  este 
caso  dependera  de  los  cambios  en  el  medio  ambiente,  lo  que  implica  una  adaptation 
de  la  habilidad  a dichos  cambios.  Sin  embargo,  este  aspecto  ofrece  complicaciones  a la 
hora  de  estudiarlo,  debido  a que  las  variaciones  medioambientales  pueden  ser  ilimita- 
das  y por  lo  tanto,  tambien  infinitas  las  adaptaciones  que  pueden  realizarse. 

Como  sintesis  de  estas  aportaciones,  entendemos  que  para  comprobar  y evaluar  la 
habilidad  de  salto,  habra  que  constatar  el  control  en  sus  tres  fases,  impulso,  vuelo  y 
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cafda,  manifestando  la  armonfa  suficiente  para  que  sea  definido  como  un  salto  equili- 
brado  y coordinado  en  toda  su  ejecucion,  sin  que  la  postura  sufra  alteraciones  ostensi- 
bles.  Es  conveniente  tambien  incluir  un  fndice  de  dificultad  creciente,  de  manera  que 
pueda  diferenciarse  el  dominio  de  la  habilidad  respecto  a la  maduracion  y el  aprendi- 
zaje,  esta  dificultad  esta  determinada  por  variaciones  en  algunas  de  las  tres  fases 
anteriormente  mencionadas.  Por  ejemplo,  si  a un  nino  se  le  pide  que  realice  una  batida 
sobre  los  dos  pies  para  caer  sobre  uno  sin  que  pierda  el  equilibrio  en  la  cafda,  necesi- 
tara  saber  que  dependera  de  como  impulse  y como  se  desarrolle  la  fase  de  vuelo  para 
caer  con  un  pie  y mantener  esa  posicion. 

Por  lo  tanto,  es  necesario  establecer  una  serie  de  pruebas  que  nos  permitan  evaluar 
de  una  manera  adecuada,  la  habilidad  de  salto  con  los  alumnos  y alumnas  de  Educa- 
tion Primaria,  identificando  las  principal  es  variables  que  pueden  modificar  y / o incre- 
mentar  la  dificultad  en  dicha  habilidad,  pero  que  a su  vez  nos  permitan  comprobar  el 
grado  de  dominio  para  que  sirva  de  ayuda  al  profesorado  para  comenzar  o afianzar  el 
proceso  de  ensenanza  aprendizaje  de  las  habilidades  motrices  basicas. 

Para  poder  elaborar  este  conjunto  de  pruebas  que  nos  permitan  comprobar  el  nivel 
de  adquisicion  de  esta  habilidad,  hemos  optado  por  el  modelo  de  Rasch,  por  ser,  bajo 
nuestro  criterio,  el  que  mejor  objetividad  nos  puede  proporcionar  en  la  medida  y para 
discriminar  adecuadamente  respecto  al  conjunto  de  sujetos  a los  que  se  les  aplica  una 
prueba  como  la  aqui  disenada  y aplicada  (Ludlow  y Haley,  1995.  Oz^elik  y Berbero- 
glut,  1991.  Rigdon  y Tsutakawa,  1987.  Smith,  1994.  Smith,  1996.  Smith  y Kramer,  1992). 
El  modelo  de  Rasch  es  un  modelo  probabilfstico  que  propone  que  la  posibilidad  de 
una  respuesta  correcta  a un  conjunto  de  items  dicotomicos  depende  de  la  habilidad  de 
la  persona  y de  la  dificultad  del  item.  Mediante  este  modelo  se  ha  optado  por  un 
conjunto  de  items  que  suponen  una  progresion  de  dificultad  para  discriminar  al 
conjunto  de  personas  que  han  participado  en  la  aplicacion  del  test,  tal  y como  ha 
ocurrido  en  otro  tipo  de  pruebas  (El-Korashy,  1995.  Molenaar  y Hoijtink,  1996.  Muller, 
1987.  Rost  y Von  Davier,  1994.  Zwinderman,  1995). 

Un  trabajo  antecedente  que  ha  proporcionado  information  respecto  a la  utilidad 
del  incremento  de  la  dificultad  en  las  habilidades  motrices  basicas,  siguiendo  el  mode- 
lo de  Rasch,  para  verificar  el  dominio  de  las  mismas,  es  el  desarrollado  por  Sanchez 
Banuelos  (1982)  denominado  «Aplicacion  de  un  modelo  matematico  probabilfstico  a 
la  evaluacion  de  la  habilidad  motriz  en  el  manejo  de  moviles».  Este  trabajo,  aunque 
dirigido  a la  clasificacion  de  tareas  con  moviles,  permite  emplear  su  tratamiento  a 
otras  habilidades  motrices.  Parte  de  la  conception  de  dicho  trabajo  va  a ser  empleada 
en  el  presente  documento  dirigido  a la  habilidad  de  salto. 

3.  OBJETIVOS 

Se  pretende  construir  un  instrumento  que  permita  la  evaluacion  del  grado  de 
adquisicion  y dominio  de  la  habilidad  motriz  basica  de  salto  para  el  alumnado  de 
Education  Primaria,  de  forma  que  pueda  conocerse,  para  cada  edad  (y  si  fuera  necesa- 
rio, el  sexo),  los  niveles  de  dificultad  que  deben  ser  abordados  por  el  profesorado  para 
establecer  la  practica  durante  el  proceso  de  ensenanza  aprendizaje.  Cada  ejercicio 
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utilizado  debera  considerarse  excluyente  para  permitir  que  con  la  escala  se  determine 
el  lugar  que  ocupan  los  alumnos  y alumnas  que  llegan  a realizar  un  determinado 
numero  de  ejercicios  de  la  misma,  de  forma  que  el  estadistico  expuesto  va  a ser  el  del 
porcentaje  de  sujetos  que  han  demostrado  ser  capaces  de  ejecutar  correctamente  las 
diferentes  tareas  que  se  propongan  en  dicha  escala.  Este  planteamiento  se  basa  en  los 
objetivos  y criterios  de  evaluacion  en  el  area  de  Educacion  Fisica  en  la  Educacion 
Primaria  propuesto  en  la  LOGSE.  Resumiendo,  se  pretendera: 

1.  Identificar  las  tareas  relacionadas  con  la  habilidad  de  salto  a incluir  en  la  escala 
con  nivel  de  dificultad  creciente. 

2.  Disenar,  validar,  estandarizar  y aplicar  la  escala  para  la  evaluacion  de  la  habili- 
dad motriz  senalada  en  una  poblacion  representativa. 

4.  METODOLOGIA  DE  LA  INVESTIGACION 

Se  disena  una  lista  de  tareas  con  un  nivel  creciente  de  dificultad  que  representa  la 
probabilidad  de  que  un  alumno  sea  capaz  o no  de  realizar  un  determinado  ejercicio 
vinculado  con  la  habilidad  de  salto.  Esta  lista  de  tareas  tiene  un  caracter  dicotomico 
(realization  adecuada-realizacion  inadecuada),  lo  cual  supone,  en  el  caso  de  cada 
tarea,  dos  unicas  alternativas  de  valoracion.  Este  aspecto,  como  se  ha  comentado, 
sigue  el  modelo  probabilistico  de  Rasch  para  la  construction  de  pruebas  (Jansen,  1995. 
Meiser  y col.,  1995.  Zwick,  Thayer  y Wingersky,  1995),  y que  tiene  aplicacion  a otras 
areas,  como  puede  ser  el  razonamiento  (Molenaar  y Hoijtink,  1996),  actitudes  (Ludlow 
y Bell,  1996),  rendimiento  (Engelhard,  1996),  independientemente  de  que  puedan 
existir  puntualizaciones  a la  utilidad  y aplicabilidad  del  modelo  (Dodd  y Koch,  1994. 
Weitzman,  1996). 

El  proceso  de  validation  de  las  tareas  propuestas,  como  se  comprobara  en  este 
estudio,  consta  de  los  siguientes  pasos: 

a)  Validez.  Justification  de  la  validez  intrinseca  de  las  listas  de  tareas  propuestas, 
comprobando  la  diferencia  de  dificultad  entre  tareas. 

b)  Analisis  de  la  fiabilidad.  Comprobacion  de  que  el  conjunto  de  tareas  propuestas 
en  la  lista  configuran  una  dimension  bien  definida. 

Una  primera  lista  de  tareas  se  aplico  en  un  estudio  piloto  reducido,  en  un  unico 
centro  elegido  al  azar,  donde  se  pusieron  en  practica  y se  analizaron  los  resultados 
para  distinguir  aquellas  tareas  que  no  discriminaban.  El  listado  de  tareas  definitivo  se 
pone  en  practica  con  una  muestra  representativa  de  la  poblacion  de  Educacion  Prima- 
ria de  la  Comunidad  de  Madrid,  eligiendo  los  individuos  al  azar  para  poder  obtener 
una  representation  valida  de  la  citada  poblacion  escolar. 

5.  MUESTRA 

La  poblacion  a la  que  se  dirige  esta  investigacion  son  los  alumnos  y alumnas  de 
Educacion  Primaria.  Como  muestra  se  elige  la  poblacion  escolar  de  la  Comunidad  de 
Madrid  y se  pretende  mantener  un  margen  de  error  del  2,5%  y un  intervalo  de 
confianza  del  95,5%.  Esta  muestra  se  encontrara  por  encima  de  los  1.600  alumnos, 
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entre  ninos  y ninas.  En  total  han  participado  1.951  sujetos  de  edades  comprendidas 
entre  los  6 y los  12  anos,  de  45  centros  de  Educacion  Primaria.  Dentro  del  grupo,  1.057 
(54,2%  de  la  poblacion)  son  chicos  y 894  (45,8%  de  la  poblacion)  son  chicas. 

6.  PROCEDIMIENTO 

Despues  del  analisis  de  la  habilidad  de  salto  atendiendo  a los  aspectos  anterior- 
mente  senalados,  se  plantearon  los  ejercicios  de  forma  que  se  estableciera,  en  teoria, 
un  incremento  en  la  dificultad  de  cada  actividad  propuesta.  Para  ello  se  procedio  al 
diseno  de  una  escala  provisional  determinando  un  total  de  18  ejercicios  como  prueba 
piloto.  El  objetivo  de  este  estudio  piloto  era  afirmar  o corregir  aspectos  claves  de  la 
investigation  (agrupamiento  de  tareas,  secuencia  de  tareas,  etc.).  Este  estudio  se  reali- 
z 6 con  una  poblacion  de  120  alumnos  (20  alumnos  por  curso,  diez  chicos  y diez  chicas) 
de  un  unico  centro,  pero  abarcando  todas  las  edades  de  Educacion  Primaria,  donde 
todos  realizaban  cada  una  de  las  pruebas  en  distintos  momentos. 

Posteriormente,  y tras  el  analisis  de  las  pruebas  del  estudio,  se  elaboro  un  listado 
definitivo  de  la  escala  de  evaluation  de  la  habilidad  de  salto.  Esta  nueva  escala  se 
aplica  en  los  centros  elegidos  y los  alumnos  comienzan  su  ejecucion  en  distintos 
tramos  de  esta  escala,  de  forma  que  los  alumnos  de  primer  curso  comienzan  por  la 
prueba  uno,  que  segun  el  estudio  piloto  es  la  mas  sencilla,  sin  embargo,  los  alumnos  y 
alumnas  de  sexto  curso  comienzan  por  la  prueba  cuatro,  segun  se  desprende  del 
citado  estudio. 

Los  evaluadores,  previamente  instruidos,  tienen  que  anotar  en  la  hoja  de  registro, 
si  los  alumnos  realizan  correctamente  o no  la  prueba  presentada,  tal  como  esta  redac- 
tada,  de  manera  que  se  eviten  interpretaciones  sobre  la  ejecucion. 

En  todo  momento,  y para  evitar  interpretaciones,  la  information  que  se  proporcio- 
naba  al  alumnado  era  la  misma,  de  manera  que  no  existieran  errores  que  pudieran 
achacarse  a la  comprension  de  la  actividad  que  tertian  que  realizar.  Los  alumnos  se 
situan  por  orden  alfabetico  y todos  ellos  pasan  por  una  misma  prueba,  y cuando  han 
terminado  esta,  vuelven  a empezar  con  la  siguiente.  Cada  alumno  tiene  un  segundo 
intento  en  caso  de  errar  en  el  primero. 

7.  ANALISIS  DE  LOS  RESULTADOS 

El  listado  de  pruebas  disenado  para  el  estudio  piloto  es  el  que  constan  en  la  tabla  3, 
fundamentado  en  diferentes  publicaciones  y otros  documentos  y pruebas  que  se  utili- 
zan  habitualmente  por  el  profesorado,  con  el  fin  de  comprobar  si  se  seguia  la  direction 
adecuada.  Estas  18  pruebas  suponen  un  numero  elevado  de  tareas  para  que  el  profe- 
sorado pudiera  poner  en  practica  esta  escala  en  su  propio  centro  escolar,  pero  sirven 
de  base  al  estudio  definitivo. 
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TABLA  3 

TARE  AS  SELECCIONADAS  PARA  EL  ESTUDIO  PHOTO  CON  EL  FIN  DE  COMPRO- 
BAR  LA  HABILIDAD  DE  SALTO  CON  LA  POBLAClON  DE  EDUCAClON  PRIMARIA 


1.  Realizar  un  salto  con  dos  pies  en  vertical  y caer  con  un  pie  y quedarse 
estatico. 

2.  Salto  con  un  pie  en  vertical  superando  una  cuerda  situada  a la  altura  de  la 
rodilla  y caer  al  suelo  con  el  contrario  y quedarse  estatico. 

3.  Saltar  desde  el  suelo  un  obstaculo  de  una  altura  igual  a la  longitud  de  su 
pierna  (del  suelo  a la  rodilla)  con  dos  pies  y caer  al  otro  lado  con  dos  pies  y 
quedarse  estatico. 

4.  Saltar  en  longitud  con  un  pie  y caer  con  el  mismo,  cambio  con  un  salto  al 
otro  pie  y caer  con  el  mismo  un  total  de  4 saltos  (es  decir,  izquierdo- 
izquierdo,  derecho-derecho,  izquierdo-izquierdo,  derecho-derecho). 

5.  Paso  y salto,  cambio  y paso  y salto  con  un  total  de  4 saltos. 

6.  Salto  a la  comba  individual  con  dos  pies  en  el  sitio  un  total  de  12  saltos 
seguidos  sin  interrupcion. 

7.  Salto  vertical  con  dos  pies  y caer  con  uno,  salto  con  este  pie  y caer  con  dos 
y quedarse  estatico. 

8.  Salto  con  dos  pies  desde  lo  alto  (altura  desde  la  mitad  del  muslo)  y caer  con 
dos  pies  y quedarse  estatico. 

9.  Salto  con  dos  pies  desde  lo  alto  (altura  desde  la  mitad  del  muslo)  y caer  al 
suelo  con  un  pie  y quedarse  estatico. 

10.  Salto  desde  el  trampolin  (con  impulso  de  carrera  de  un  maximo  de  10  m.) 
con  dos  pies  a superar  un  obstaculo  con  una  altura  de  la  longitud  de  la 
cadera  y caer  al  suelo  con  dos  pies  y quedarse  estatico. 

11.  Salto  con  un  pie  desde  el  suelo  y cae  con  dos  a una  altura  (altura  de  la 
rodilla),  desde  esta  altura  salta  con  los  dos  pies  y cae  al  suelo  con  el  pie 
contrario  del  que  realizo  el  primer  impulso. 

12.  Salto  con  dos  pies  desde  una  altura  (altura  de  la  cadera)  a caer  en  otro 
punto  algo  mas  bajo  (altura  de  la  rodilla)  tambien  con  dos  pies  y desde  aqui 
al  suelo,  quedando  estatico.  Esta  accion  es  seguida,  sin  interrupciones. 

13.  Salto  a la  comba  con  un  pie,  altemando  (sin  saltillo  intermedio),  12  saltos 
seguidos  sin  interrupcion. 

14.  Salto  con  un  pie  en  corto  y con  el  otro  en  largo,  un  total  de  8 saltos. 

15.  Saltar  desde  el  suelo  con  dos  pies  a caer  en  un  pie  en  una  altura  (altura  de 
la  rodilla),  con  este  pie  saltar  al  suelo  a caer  con  dos,  volver  a saltar  con  dos 
pies  a otra  altura  igual  a la  anterior  pero  cae  con  el  otro  pie  y de  aqui  al 
suelo  cayendo  con  dos  pies  y quedarse  estatico. 

16.  Salto  a la  comba  con  dos  pies,  en  cada  salto  la  cuerda  debe  pasar  dos  veces, 
realizar  un  total  de  10  pasadas  de  cuerda  seguidas  sin  interrupcion. 

17.  Salto  a la  comba  hacia  atras  con  dos  piernas,  un  total  de  12  saltos  seguidos. 

18.  Salto  a la  comba  hacia  atras  con  un  pie  alternando  (sin  saltillo  intermedio), 

12  saltos  seguidos  sin  interrupcion. 
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Para  verificar  la  fiabilidad  interna  de  la  prueba  piloto  se  calculo  el  coeficiente 
alpha  de  Cronbach,  obteniendose,  para  el  conjunto  de  las  18  pruebas  del  estudio 
entre  los  sujetos  de  la  muestra  que  realizaron  la  escala,  un  0.85  que  se  considera 
como  un  valor  alto  en  este  tipo  de  estudios  (Morrow  y col.,  1995).  Logicamente,  el 
estudio  piloto  ofrece  unos  resultados  que  demuestran  que  lo  que  podria  considerar- 
se  teoricamente  progresivo  en  cuanto  a la  dificultad,  no  era  acertado,  como  puede 
evidenciarse  en  la  tabla  4.  Estos  resultados  confirmaron  algunos  de  los  ejercicios 
pero  otros  cambiaron,  tambien  se  comprobo  que  algunos  nos  discriminaban  entre 
los  alumnos. 


TABLA  4 

PORCENTAJE  DE  ALUMNOS  QUE  LOGRAN  REALIZAR  CADA  EJERCICIO  EN  EL 

ESTUDIO  PILOTO  (n=120) 


Pruebas 

1 

3 

5 

8 

2 

4 

7 

9 

6 

12 

10 

11 

15 

14 

17 

13 

18 

16 

Porcentaje 

98 

97 

95 

95 

94 

90 

75 

61 

57 

53 

49 

42 

31 

28 

28 

22 

12 

0 

El  estudio  piloto  termina  por  situar  a cada  ejercicio  en  un  orden  de  dificultad 
acertado.  En  suma,  los  ejercicios,  tal  como  se  configuraron  inicialmente  cambian  en 
el  orden,  de  manera  que  algunas  consideradas  faciles  presentan  mayor  dificultad,  y 
otras  consideradas  diffciles  son  mas  simples.  Ademas  se  evidencia  que  algunas 
pruebas  ofrecen  una  puntuacion  igual,  lo  que  significa  que  una  de  ellas  debe  ser 
eliminada.  Por  lo  tanto,  se  redujo  el  numero  de  pruebas,  para  un  estudio  definitivo, 
a 15  (ver  tabla  5)  situando  cada  prueba  en  un  nivel  de  dificultad  mas  cercano  a la 
realidad. 

Con  esta  nueva  lista,  igual  que  en  el  caso  anterior,  se  comprueba  una  fiabilidad 
con  el  coeficiente  alpha  de  Cronbach,  del  0.90,  confirmando  que  el  listado  empleado 
tiene  suficiente  consistencia  interna,  derivado  de  la  relacion  directa  del  mismo  con  la 
habilidad  que  se  pretende  evaluar. 

Para  comprobar  la  diferencia  en  el  nivel  de  dificultad  de  cada  tarea,  se  efectuo  el 
calculo  del  analisis  no  parametrico  para  variables  dicotomicas  mediante  el  xndice  Q 
de  Cochran,  entre  los  diferentes  ejercicios  tal  y como  consta  en  la  documentacion 
para  este  tipo  de  pruebas  (Thomas  y Nelson,  1990),  con  el  fin  de  comprobar  si  se 
cumplfa  o no  la  hipotesis  de  la  diferenciacion  entre  los  mismos.  Los  resultados  de 
estos  analisis  se  observan  en  la  tabla  6. 
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TABLA  5 

LI  ST  ADO  DE  TARE  AS  DEFINITIVAS  PARA  LA  EVALUAClON  DE  LA  HABILIDAD 

DE  SALTO  EN  EDUCAClON  PRIMARIA 


1.  Saltar  un  obstaculo  de  una  altura  igual  a la  longitud  de  su  piema  (del  suelo 
a la  rodilla)  con  dos  pies  y caer  al  otro  lado  con  dos  pies  y quedarse  estatico. 

2.  Salto  con  un  pie  en  vertical  superando  una  cuerda  que  esta  a la  altura  de  la 
rodilla  y caer  con  el  contrario  y quedarse  estatico. 

3.  Saltar  en  longitud  con  un  pie  y caer  con  el  mismo,  cambio  con  un  salto  al 
otro  pie  y caer  con  el  mismo  un  total  de  4 saltos  (es  decir,  izquierdo- 
izquierdo,  derecho-derecho,  izquierdo-izquierdo,  derecho-derecho). 

4.  Salto  vertical  con  dos  pies  y caer  con  uno,  salto  con  este  pie  y caer  con  dos 
y quedarse  estatico. 

5.  Saltar  con  un  pie  un  obstaculo  de  la  altura  igual  a la  longitud  de  su  piema 
(del  suelo  a la  rodilla)  y caer  con  ese  mismo  pie  y quedarse  estatico. 

6.  Salto  con  dos  pies  desde  lo  alto  (altura  desde  la  mitad  del  muslo)  y caer  con 
un  pie  y quedarse  estatico. 

7.  Salto  a la  comba  individual  con  dos  piernas  en  el  sitio  un  total  de  12  saltos 
seguidos  sin  interrupcion. 

8.  Salto  con  dos  pies  desde  una  altura  (altura  de  la  cadera)  a caer  en  otro 
punto  algo  mas  bajo  (altura  de  la  rodilla)  tambien  con  dos  pies  y desde  aqui 
al  suelo,  quedando  estatico.  Esta  accion  es  seguida,  sin  interrupciones. 

9.  Salto  desde  el  trampolin  (con  impulso  de  carrera  de  un  maximo  de  10  m.) 
con  dos  pies  a superar  un  obstaculo  con  una  altura  de  la  longitud  de  la 
cadera  y caer  con  dos  pies  quedando  estatico. 

10.  Salto  con  un  pie  y cae  con  dos  a una  altura  (altura  de  la  rodilla),  desde  esta 
altura  salta  con  los  dos  pies  y cae  con  el  pie  contrario  del  que  realizo  el 
primer  impulso. 

11.  Salto  desde  el  trampolin  (con  impulso  de  carrera  de  un  maximo  de  10  m.) 
con  dos  pies  a superar  un  obstaculo  con  una  altura  de  la  longitud  de  la 
cadera  y caer  con  un  pie  quedando  estatico. 

12.  Salto  con  dos  pies  a caer  con  un  pie  en  una  altura  (altura  de  la  rodilla),  con 
este  pie  saltar  al  suelo  a caer  con  dos  pies,  volver  a saltar  con  dos  pies  a otra 
altura  igual  a la  anterior  pero  cayendo  con  un  pie  distinto  al  anterior  y de 
aqui  al  salto  al  suelo  cayendo  con  dos  pies  quedando  estatico. 

13.  Salto  a la  comba  con  un  pie,  alternando  (sin  saltillo  intermedio),  12  saltos 
seguidos  sin  interrupcion. 

14.  Salto  con  dos  pies  a caer  con  dos  pies  en  unai  altura  (altura  de  la  rodilla)  y 
volver  a caer  de  espaldas  para  caer  con  un  pie  y quedarse  estatico. 

15.  Salto  a la  comba  con  un  pie,  alternando  hacia  atras  (sin  saltillo  intermedio), 
12  saltos  seguidos  sin  interrupcion. 
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TABLA  6 

tNDICE  DE  COCHRAN  EN  LA  ESCALA  PARA  LA  EVALUAClON  DEL  SALTO  DE 

LAS  ACTIVIDADES  PROPUESTAS 


Sujetos 

Q de  Cochran 

G.L. 

Nivel  de  Sign. 

1.951 

11011.91 

14 

.000 

Como  procedimiento  «post  hoc»  para  determinar  las  diferencias  entre  grupos  se 
utilizo  el  test  de  Tukey  con  un  nivel  de  significacion  de  .05  (mediante  el  programa 
estadfstico  SPSS  6.0  para  Windows).  Los  resultados  de  dichos  analisis  se  presentan  a 
continuacion  en  la  tabla  7,  encontrandose  diferencias  significativas  entre  los  niveles 
escolares  y la  edad.  Segun  los  datos  referidos,  se  toman  como  grupos  de  edad  las 
siguientes:  6 anos,  7 anos,  8 anos,  9 anos,  10  anos,  y 11  y 12  anos. 


TABLA  7 

ANALISIS  DEL  TEST  DE  TUKEY  COMO  PRUEBA  POST  HOC  PARA  COMPROBAR 
LAS  DIFERENCIAS  ENTRE  LAS  MED1AS  EN  LOS  GRUPOS  DE  EDAD 


Media 

NIVEL 

Grp5 

Grp6 

Grp7 

Grp8 

Grp9 

GrplO 

Grpll 

Grpl2 

1,00 

Grp  5 

1,17 

Grp  6 

* 

2,20 

Grp  7 

* 

* 

3,10 

Grp  8 

* 

* 

* 

4,18 

Grp  9 

* 

* 

* 

* 

5,13 

GrplO 

* 

* 

* 

* 

* 

5,94 

Grpll 

* 

* 

* 

* 

* 

* 

6,00 

Grpl2 

* 

* 

* 

* 

* 

* 

Con  el  objeto  de  comprobar  si  se  registran  diferencias  significativas  respecto  a la 
habilidad  motriz  segun  el  sexo,  se  calcularon  los  correspondientes  analisis  de  diferen- 
cias entre  las  medias  de  las  puntuaciones  globales  (numero  total  de  tareas  realizadas), 
entre  chicos  y chicas.  Para  comprobar  la  hipotesis  se  establece  el  nivel  de  significacion 
del  0.01.  Los  resultados  obtenidos  se  presentan  en  la  tabla  8,  donde  se  comprueban 
diferencias  significativas  a favor  de  las  chicas. 
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TABLA  8 

SUMAR10  DEL  ANALISIS  DE  LAS  D1FERENCIAS  DE  MED1AS  ENTRE 
LA  PUNTUACldN  GLOBAL  SEGtiN  EL  SEXO 


Variable 

N 

MEDIA 

D.E. 

Valor  de  «t» 

G.L. 

P 

Chicos 

1.057 

5,80 

3,80 

-5,82 

1936 

0,000 

Chicas 

894 

6,88 

4,36 

De  acuerdo  con  el  analisis  estadistico  y como  criterios  de  caracter  general  para 
realizar  una  adecuada  utilizacion  de  las  tareas  de  dificultad  creciente  con  las  diferen- 
tes  edades  y el  sexo  del  alumnado,  y en  funcion  del  objetivo  propuesto,  se  establecen 
los  siguientes  puntos: 

a)  Desestimar  los  ejercicios  que  son  demasiado  faciles,  aquellos  que  son  realizados 
por  mas  del  95%  de  los  sujetos  en  cada  grupo  de  edad;  o demasiado  dificiles, 
aquellos  que  no  son  realizados  por  mas  del  5%  de  sujetos  de  cada  grupo  de 
edad. 

b)  Estructurar  el  resto  de  los  ejercicios  en  tres  intervalos  iguales  denominados 
dificultad  baja,  cuando  son  realizados  entre  el  95%  y el  65%  de  los  sujetos  en 
cada  grupo  de  edad;  dificultad  media  cuando  son  realizados  entre  el  64%  y el 
35%  de  los  sujetos  en  cada  grupo  de  edad;  y dificultad  alta  cuando  son  realiza- 
dos entre  el  34%  y el  5%  de  los  sujetos  en  cada  grupo  de  edad. 

En  la  siguiente  tabla,  la  numero  9,  se  expone  el  resumen  final  de  los  ejercicios  que 
llegan  a realizar  el  alumnado  con  relacion  a su  edad  y sexo,  el  porcentaje  de  alumnos 
en  cada  edad,  y su  distincion  entre  dificultad  baja,  dificultad  media  y dificultad  alta. 
Esta  es  la  propuesta  de  los  ejercicios  que  podra  utilizar  el  profesorado  para  evaluar  la 
capacidad  de  salto  en  cada  curso  de  la  Educacion  Primaria. 

Respecto  a la  muestra  de  sujetos  seleccionada,  y con  relacion  a los  datos  obtenidos, 
se  comprueba  que  hay  cierta  uniformidad  en  las  tres  edades  iniciales  respecto  al 
primer  ejercicio,  el  de  comienzo,  pero  no  asi  en  la  progresion  de  los  ejercicios  finales, 
donde  se  puede  ver  un  escalonamiento,  llegando  las  chicas  en  el  curso  tercero  casi  a la 
ultima  prueba.  A medida  que  aumenta  la  edad,  el  ejercicio  del  comienzo  tambien  se  va 
desplazando  y en  quinto  y sexto  encontramos  un  punto  de  partida  comun,  llegando  al 
final  en  mejor  situacion  las  chicas. 

En  cualquier  caso,  y para  que  este  listado  de  ejercicios  tenga  utilidad,  existen 
ejercicios  en  los  tres  tramos  para  todas  las  edades  y sexos,  aunque  es  en  las  edades 
tempranas  es  donde  encontramos  que  el  numero  de  ejercicios  para  utilizar  es  menor 
que  en  las  edades  centrales  o mayores.  En  el  curso  primero  encontramos  un  unico 
ejercicio  de  dificultad  baja,  mientras  que  en  dificultad  media  hay  tres  para  las  chicas  y 
uno  para  los  chicos,  invirtiendose  la  situacion  en  la  dificultad  alta.  En  segundo  curso 
encontramos  la  situacion  mas  igualada,  de  manera  que  existe  el  mismo  numero  de 


TABLA  9 

DIS TRIB UClON  DEL  PORCENTAJE  DE  ALUMNOS  Y ALUMNAS  EN  LOS  DIFERENTES  CURSOS  QUE  REALIZAN 
LAS  PRUEBAS  SELECCIONADAS.  DA,  DIFICULTAD  ALTA;  DM,  DIFICULTAD  MEDIA;  DB,  DIFICULTAD  BAJA 
(ENTRE  PARtNTESIS  EL  PORCENTAJE  DE  ALUMNOS  QUE  REALIZAN  DICHA  PRUEBA) 
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ejercicios  para  los  chicos  y las  chicas.  A partir  del  tercer  curso,  el  numero  de  ejercicios 
disponibles  aumenta,  lo  que  permite  tener  mas  posibilidades  de  eleccion. 

Otro  dato  a tener  en  cuenta  y ya  mencionado,  es  que  en  la  mayoria  de  los  casos,  las 
chicas  superan  a los  chicos  en  la  habilidad,  y solo  cuando  los  chicos  superan  a las 
chicas,  el  porcentaje  puede  considerarse  irrelevante.  Por  ello  se  ha  separado  en  dos 
tablas,  las  numero  10  y 11,  los  ejercicios  para  chicos  y chicas. 

Desde  el  punto  de  vista  de  la  distribucion  de  dificultad  de  los  ejercicios  de  la  tabla 
10  correspondiente  a los  chicos,  se  puede  comprobar  como  el  ejercicio  8 cambiaria  el 
orden  hasta  colocarse  el  sexto,  el  ejercicio  7 pasa  a ser  el  9,  el  11  pasa  a ser  el  12  y el  13 
pasa  a ser  el  14.  En  cuanto  a los  resultados  conseguidos  por  los  alumnos,  se  mantiene 
cierta  uniformidad,  de  manera  que  las  pruebas  que  comienzan  con  dificultad  alta  en  el 
primer  ano,  van  perdiendo  dicha  dificultad  cuando  avanza  la  edad,  por  ejemplo  la 
prueba  8 es  dificultad  alta  en  1°  y 2°,  dificultad  media  en  3°,  y a partir  de  4°  es 
dificultad  baja.  Otras  pruebas  se  mantienen  con  dificultad  alta  durante  toda  la  escola- 
ridad,  como  la  prueba  11  a partir  de  4°,  mientras  que  la  prueba  15  es  dificultad  alta 
solamente  en  6°,  pero  no  aparece  en  ningun  otro  curso. 

En  la  tabla  11,  correspondiente  a las  chicas,  y tambien  desde  el  punto  de  vista  de  la 
dificultad  inicial,  algunos  ejercicios  cambian  su  posicion,  de  forma  que  el  8 pasa  a ser 
el  ejercicio  6,  el  ejercicio  11  pasa  a ser  el  14  y los  ejercicios  13  y 14  cambian  el  orden.  En 
cuanto  a los  resultados  conseguidos  por  las  alumnas,  observamos  variaciones  que 
hacen  disminuir  su  estabilidad.  Por  ejemplo,  la  prueba  9 aun  dentro  del  tramo  de 
dificultad  media,  resulta  mas  diffcil  para  las  alumnas  de  6°  que  para  las  alumnas  de  5°, 


TABLA  12 

NtiMERO  DE  EJERCICIOS  POR  EDAD  Y SEXO  SEGUN  EE  INDICE  DE  DIFICUL- 
TAD. DB=  DIFICULTAD  BAJA;  DM=  DIFICULTAD  MEDIA;  DA=  DIFICULTAD  ALTA. 
ENTRE  PARtNTESIS  SE  SITU  A EL  EJERCICIO  SEGUN  EL  LIST  ADO  DE  LA  TABLA  5 


CURSO 

SEXO 

DB 

DM 

DA 

.1° 

CHICOS 

i(i) 

1(2) 

4 (3, 4, 5 y 8) 

CHICAS 

i(i) 

3 (2,  3 y 4) 

1(5) 

2° 

CHICOS 

i(i) 

3(2,  3y  4) 

6 (5,  6,  7,  8,  9 y 10) 

CHICAS 

i(i) 

3 (2,  3 X 4) 

6 (5,  6,  7,  8,  9 y 10) 

3° 

CHICOS 

4 (1, 2, 3 y 4) 

2 (5  y 8) 

5 (6,  7,  9, 10  y 12) 

CHICAS 

4 (1, 2, 3 y 4) 

3(5,  7y  8) 

7 (6,  9, 10, 11, 12, 13  y 14) 

4° 

CHICOS 

5 (2,  3,  4 5 y 8) 

5 (6,  9, 10, 12  y 14) 

2 (7  y 11) 

CHICAS 

5 (2, 3, 4,  5 y 8) 

4 (6,  7,  9 y 10) 

5 (11, 12, 13, 14  y 15) 

5° 

CHICOS 

2 (5  y 8) 

5 (6,  7, 10, 12  y 14) 

3 (9, 11  y 13) 

CHICAS 

3(5,  7y  8) 

6 (6,  9, 10, 12, 13  y 14) 

2 (11  y 15) 

6° 

CHICOS 

3(5,  6y  8) 

5(7,9,10, 12  y 14) 

3 (11, 13  y 15) 

CHICAS 

5 (5,  6,  7,  8 y 10) 

5 (9, 11, 12, 13  y 14) 

1(15) 
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igual  que  la  prueba  13.  En  la  ultima  prueba,  aunque  con  mejores  resultados  que  para 
los  chicos,  se  constata  que  existe  una  inversion  entre  el  curso  6°  y los  dos  anteriores,  ya 
que  el  porcentaje  es  menor  para  el  curso  superior.  El  resto  de  los  ejercicios  evolucionan 
normalmente,  de  manera  que  comienzan  con  dificultad  alta  en  el  curso  1°  y terminan 
con  una  dificultad  inferior  en  los  cursos  mayores. 

Como  resumen  definitivo,  exponemos  en  la  tabla  12  los  ejercicios  seleccionados 
para  evaluar  el  salto  en  cada  curso  segun  el  nivel  de  dificultad.  Logicamente,  en 
las  situaciones  en  las  que  exista  mas  de  un  ejercicio  por  tramo  de  dificultad,  sera 
labor  del  profesor  elegir  aquel  que  crea  mas  oportuno,  ya  que  no  se  trata  de 
realizar  todas  las  pruebas,  sino  emplear  una  por  tramo,  de  manera  que  informe 
sobre  que  punto  se  encuentra  el  conjunto  de  alumnos  y alumnas  que  tiene  a su 
cargo  docente. 

8.  CONCLUSIONES 

Los  resultados  de  este  estudio  nos  permiten  corroborar,  que  el  profesorado  de 
Educacion  Ffsica  puede  emplear  esta  escala  para  evaluar  la  habilidad  de  salto  con  sus 
alumnos  y alumnas  de  Educacion  Primaria  con  el  fin  de  disenar  las  actividades  que 
debera  desarrollar  durante  sus  clases.  La  escala  se  ha  adaptado  a tres  diferentes 
tramos  de  dificultad,  pero  que  pueden  discriminar  sobremanera  entre  el  grupo  de 
alumnos  segun  la  edad  y el  sexo. 

La  propuesta  original  en  cuanto  a la  dificultad  teorica  progresiva  ha  sufrido  algu- 
nos  cambios,  provocados  por  los  datos  que  ofrece  la  realidad  con  el  alumnado.  Sin 
embargo,  se  ofertan  suficientes  ejercicios  dentro  de  los  tres  tramos  de  dificultad  para 
que  el  profesorado  pueda  elegir  aquel  que  considere  mas  oportuno,  aunque  en  algu- 
nos  cursos  solo  exista  un  unico  ejercicio  dentro  de  un  tramo.  Tambien  es  cierto  que 
pueden  encontrarse  variaciones  en  la  practica,  pero  a medida  que  se  vayan  completan- 
do  otros  estudios  se  podra  generalizar  en  mayor  proporcion. 

Los  estadisticos  aplicados  confirman  que  la  baterfa  de  ejercicios  propuesta  ofre- 
cen  validez  y fiabilidad  suficiente  para  poder  ser  aplicada  en  la  poblacion  de 
estudio,  representativa  de  la  poblacion  de  Educacion  Primaria,  cuya  edad  se  en- 
cuentra entre  los  6 y los  12  anos.  El  analisis  de  los  datos  ha  demostrado  tambien 
que  existen  diferencias  entre  los  sexos  en  la  habilidad  de  salto  a favor  de  las  chicas 
ya  que  consiguen  mejores  resultados  en  todas  las  pruebas  y alcanzan  mejor  pun- 
tuacion  que  los  chicos,  incluso  en  algunos  casos  llegan  a rebasarlos  por  dos  cursos 
de  diferencia.  Esto  puede  deberse  a la  influencia  social  y cultural  o a la  madura- 
cion. 
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RESUMEN 

Los  constructs  como  el  autoconcepto  o la  autoestima,  con  una  clara  dependencia  del 
entorno  humano  en  lo  que  se  refiere  a su  formacion,  desarrollo  y cambio,  estdn  fuertemente 
modulados,  tanto  en  su  formacion  como  en  su  mantenimiento,  por  la  cualidad  de  interaccion 
del  sujeto  con  los  que  le  rodean,  dependiente  a su  vez  de  las  caraderisticas  perceptuales  del 
individuo.  Por  ello,  los  procesos  de  modificacion  de  estas  variables  deben  verse  afectadas  por  la 
simetria  —asimetna  en  la  edad  y por  la  similitude  diferencia  de  sexo  entre  el  agente  social 
implicado  en  el  cambio  y el  individuo.  Para  estudiar  la  relacion  entre  estas  dos  dimensiones  y 
la  modificacion  de  la  autoestima,  el  autoconcepto  y el  autocomportamiento  en  un  contexto 
interactivo,  se  realiza  una  intervencion  cognitivo-conductual  sobre  un  grupo  experimental, 
compuesto  por  39  estudiantes  universitarios,  frente  a un  grupo  control  que  no  recibio  trata- 
miento,  formado  por  34  individuos. 

Palabras  clave:  Tutoria  reciproca.  Autoestima.  Autoconcepto.  Diferencia  de  edad  tutor- 
tutorado.  Diferencia  sexo  tutor-tutor  ado. 
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ABSTRACT 

Constructs  such  as  self-concept  or  self-esteem,  with  a clear  dependence  of  the  human 
environment  with  respect  to  formation,  development  and  change,  ar  strongly  modulated,  both 
in  its  formation  and  maintenance,  by  the  quality  of  the  interaction  of  the  person  with  those  who 
surround  him,  which  itself  depends  on  the  perceptual  characteristics  of  the  person.  Beacause  of 
this,  the  processes  of  modification  of  these  variables  will  be  affected  by  simetry-asymetry  in  age 
and  by  the  symilarity -difference  in  gender  between  the  socil  agent  insolved  in  the  change  and 
the  person.  To  study  the  relationship  between  these  two  dimensions  and  the  modification  of 
self-esteem,  self-concept,  and  behabior  in  an  interactive  context  a cognitive-behabioral  inter- 
vention was  conducted  with  an  experimental  group  formed  by  39  university  students  and 
whas  compared  with  a control  group  (34  students)  that  did  not  received  any  treatment. 


I.  INTRODUCTION 

Las  tecnicas  de  intervencion  fundamentadas  en  modelos  cognitivo-conductuales 
estan  demostrando  su  efectividad  en  la  resolution  de  problemas  diversos,  directamen- 
te  relacionados  con  la  capacidad  adaptativa  del  educando,  y con  aspectos  tan  relevan- 
tes  como  el  rendimiento  academico  o la  calidad  de  las  interacciones  entre  el  alumno  y 
su  medio.  La  intervencion  dirigida  a la  mejora  de  conductas  depresivas  (Dadds  et  al., 
1997),  agresivas  (Phillips,  Schwean  y Saklofske,  1997),  hiperactivas  (Kaduson,  y Fin- 
nerty,  1995),  o trastornos  de  la  alimentation  (Eldredge  et  al.,  1997)  son  solo  algunos 
ejemplos.  Otros  estudios  se  centran  en  la  mejora  de  la  autoestima  en  poblacion  escolar 
empleando  terapia  racional  emotiva  (Sapp,  1986),  cognitivo-conductual  (Sapp,  1994), 
combination  de  terapia  conductual  y cognitivo-conductual  (Valliant,  1993),  o de  tera- 
pia breve  y cognitiva  (Martin,  1993).  La  carencia  de  estudios  rigurosos  que  analicen  los 
elementos  asociados  a la  efectividad  de  las  intervenciones  realizadas,  dificulta  la 
comprension  de  los  factores  relacionados  con  el  cambio  cognitivo  y comportamental. 
Este  estudio  analiza  la  influencia  de  variables  asociadas  al  efecto  de  un  proceso  de 
intervencion  psicopedagogica  centrado  en  la  modificacion  del  autoconcepto  y la  au- 
toestima a traves  de  un  procedimiento  de  tutorfa  recfproca.  Esta  estructura  de  apren- 
dizaje  ha  demostrado  en  numerosos  estudios  su  efectividad  para  mejorar  el  rendi- 
miento en  el  aprendizaje  y,  como  efecto  colateral,  su  repercusion  positiva  sobre  la 
autoestima.  Aunque  casi  todas  las  investigaciones  mencionan  si  la  relation  tutor- 
tutorado  era  simetrica  o asimetrica  en  cuanto  a la  edad  y al  sexo  de  los  participantes  en 
la  interaction,  ningun  estudio  analiza  directamente  los  efectos  directos  de  estas  varia- 
bles sobre  la  modificacion  de  la  autoestima. 

La  election  del  metodo  de  intervencion,  cognitivo-conductual,  viene  sustentada  en 
estudios  como  los  citados  anteriormente,  que  avalan  la  validez  social,  ecologica,  y 
cientffica  del  mismo.  Para  elegir  las  tecnicas  tomamos  como  referencia  los  datos  mas 
recientes  y rigurosos  que  conocemos  acerca  del  desarrollo  del  autoconcepto  y la  au- 
toestima. Estos  muestran  la  significatividad  de  la  dimension  afectiva  en  la  dinamica 
evolutiva  de  la  autoestima.  El  desarrollo  de  esta  dimension  depende  en  gran  medida 
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de  ambitos  interdependientes  como  la  escuela  y la  familia,  asi  como  de  la  influencia  de 
agentes  socializadores  distintos,  aunque  complementarios,  como  los  padres,  el  profe- 
sorado  o el  grupo  de  iguales.  Todos  ellos  participan  en  el  desarrollo  cognitivo,  afectivo 
y social  del  nino,  y contribuyen  sobremanera  a la  formacion  de  esquemas  de  pensa- 
miento  que  a traves  de  su  funcion  heuristica/interpretativa  configuran  la  relacion  del 
sujeto  con  el  medio  fisico  y social. 

La  especial  relevancia  de  las  interacciones  sociales  del  sujeto  con  personas  signifi- 
cativas  sugiere  la  idea  de  modificar  esta  ultima  empleando,  al  igual  que  en  su  desarro- 
llo, las  interacciones  con  otro  igual,  facilitandose  asi  la  generalizacion  de  los  nuevos 
pensamientos  adquiridos  y relacionados  directamente  con  esta  dimension  afectiva  de 
la  persona.  Las  experiencias  ya  realizadas  en  el  ambito  del  aprendizaje  de  tareas 
academicas  utilizando  experiencias  innovadoras  como  la  tutoria  reciproca  asi  lo  sugie- 
ren  (Fernandez  y Melero,  1995;  Jacobs  y James,  1994;  Marshak,  1994,  entre  otros). 
Estudios  como  el  de  Verba  (1998)  senalan  la  importancia  de  la  simetria-asimetria  en 
las  interacciones,  mostrando  tambien  el  efecto  negativo  que  produce  esta  ultima  al 
originar  que  tutor  y tutorado  focalicen  la  atencion  en  elementos  distintos,  disminu- 
yendo  notablemente  la  atencion  que  se  presta  a la  satisfaccion  de  las  necesidades  del 
tutorado.  Nosotros  hemos  optado  por  formar  parejas  de  igual  nivel  de  desarrollo  en 
conocimiento  y habilidad. 

El  efecto  positivo  de  este  proceso  interactive  podria  estar  asociado  a la  similitud  o 
a la  diferencia  de  sexo  entre  tutor  y tutorado,  asi  como  a la  mayor  o menor  diferencia 
de  edad.  Mientras  unos  estudios  como  el  de  Marshak  (1994)  encuentran  razones  que 
apoyen  la  diferencia  de  edad,  otros  como  el  King,  Staffieri,  y Adelgais,  (1998)  reflejan 
las  ventajas  de  utilizar  parejas  constituidas  por  sujetos  de  la  misma  edad.  La  diversi- 
dad  de  muestras  utilizadas,  asi  como  la  diversidad  de  contenidos  de  aprendizaje  sobre 
los  que  se  centran  estas  investigaciones  dificultan  la  obtencion  de  conclusiones  defini- 
tivas.  Lo  mismo  ocurre  en  lo  que  respecta  a la  igualdad-similitud  de  sexo  entre  tutor  y 
tutorado.  Los  estudios  de  Horn,  Collier,  Oxford,  Bond,  y Dansereau,  1998,  o de  Ver- 
ba,1998  reflejan  las  ventajas  de  la  asimetria  en  la  variable  genero.  Aunque  los  estudios 
citados  refieren  efectos  positivos  sobre  la  autoestima,  ninguno  de  ellos  analiza  de 
forma  conjunta  los  efectos  que  tienen  las  variables  simetria-asimetria  de  sexo  y edad 
en  la  pareja  tutor-tutorado,  en  una  intervencion  especificamente  dirigida  a mejorar  la 
autoestima,  el  autoconcepto  y el  autocomportamiento. 

Podriamos  pensar,  como  consecuencia  del  analisis  de  los  estudios  que  han  utiliza- 
do  la  tutoria  reciproca  para  mejorar  el  rendimiento  en  el  aprendizaje,  que  estas  varia- 
bles van  a influir  sobre  el  autoconcepto  y la  autoestima.,  asi  como  sobre  el  autocom- 
portamiento. Las  investigaciones  arriba  citadas  nos  llevan  a plantear  los  siguientes 
supuestos.  Planteamos  una  primera  hipotesis  que  afirma  que  la  mejora  debe  ser  signi- 
ficativamente  mayor  cuando  los  dos  miembros  de  la  pareja  sean  del  mismo  sexo 
(hipotesis  1).  La  diferencia  de  sexo  entre  tutor  y tutorado  podria  dificultar  el  proceso 
de  autoconocimiento,  condicionando  o dirigiendo  la  busqueda  de  aspectos  negativos 
o positivos  en  una  u otra  direccion.  De  igual  modo  podriamos  pensar  que  al  ser 
generalmente  las  interacciones  con  el  otro  sexo  las  que  mas  facilmente  suelen  afectar  a 
la  autoestima,  y no  tanto  al  autoconcepto,  interaccionar  en  este  contexto  de  identifica- 
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cion  y analisis  de  las  experiencias  vividas  podria  dificultar  el  proceso  de  busqueda  de 
justificaciones  a los  comportamientos  autoobservados. 

Autores  como  Fitzsimons-Lovett  (1998)  sugieren  los  aspectos  positivos  de  la  dife- 
rencia  de  edad  tutor-tutorado,  mostrando  una  mejora  de  la  autoestima  cuando  los  dos 
miembros  de  la  pareja  son  de  distinta  edad.  Nosotros  esperamos  que  a mayor  diferen- 
cia  de  edad  entre  los  miembros  de  la  pareja  la  modificacion  sea  menor,  dados  los 
planteamientos  de  lineas  anteriores,  valorandose  positivamente  una  similitud  en  la 
edad  de  los  dos  miembros  de  la  pareja  (hipotesis  2).  Estas  hipotesis  deben  verificarse 
para  el  autoconcepto  y la  autoestima,  asi  como  para  el  autocomportamiento,  dimen- 
siones  distintas  aunque  interdependientes,  que  se  veran  positivamente  incrementadas 
tras  la  intervencion  (hipotesis  3). 

2.  SUJETOS 

Sesenta  y cuatro  sujetos  eligieron  participar  de  forma  voluntaria.  en  la  investiga- 
cion.  Todos  ellos  fueron  informados  con  anterioridad  del  objetivo  general  del  estudio: 
implementar  un  proceso  de  intervencion  dirigido  a la  modificacion  de  la  autoestima 
por  medio  de  una  serie  de  actividades  desarrolladas  por  parejas.  Veinte  mujeres  y 
cuarenta  y cuatro  hombres  se  subdividian  en  grupos  experimental  y control,  el  prime- 
ro  compuesto  por  ocho  varones  y treinta  y una  mujeres,  y el  segundo  por  quince 
varones  y diecinueve  mujeres,  con  una  edad  media  de  25.7  afios.  Una  primera  evalua- 
tion de  las  variables  dependientes  (autoconcepto,  autoestima  y autocomportamiento), 
reflejo  puntuaciones  en  tomo  a la  media  de  su  edad  en  la  mayoria  de  los  sujetos.  Tan 
solo  12  sujetos  puntuaron  por  debajo  de  la  media  en  la  variable  autoestima.  Las 
parejas  tutor-tutorado  fueron  realizadas  al  azar  para  el  grupo  experimental,  mientras 
que  el  grupo  control  no  recibio  ninguna  intervencion. 

3.  METODO 

3.1.  Instrumentos 

Para  la  evaluation  de  la  autoestima  se  ha  utilizado  el  Tennessee  Self-Concept  Scale 
(T.S.C.S.),  elaborado  por  Fitts  en  1965  (citado  en  Garanto,  1984).  El  instrumento  se  ha 
utilizado  en  Espana  (Garanto,  1984,  quien  presenta  la  version  que  aqui  hemos  utiliza- 
do) y en  los  Estados  Unidos.  Cuenta  con  tres  escalas  (autoconcepto,  autoestima  y 
autocomportamiento),  subdividiendose  cada  una  de  ellas  en  cinco  dimensiones:  etico- 
moral,  personal,  familiar,  social  y fisica.  Ademas  el  test  lleva  incluida  una  escala  de  10 
items  tomada  del  MMPI  que  mide  autocritica.  Nosotros  unicamente  empleamos  una 
puntuacion  global  de  cada  una  de  las  tres  primeras  escalas,  y la  puntuacion  total, 
suma  de  las  tres  anteriores,  excluyendo  la  escala  de  autocritica,  asociada  a caracteris- 
ticas  psicopatologicas  y que  nosotros  no  utilizamos  al  no  considerar  relevante  esta 
variable  para  los  objetivos  propuestos. 

A los  sujetos  se  les  repartio  un  documento  que  contenia  detalladamente  todas  y 
cada  una  de  las  etapas  a seguir,  que  explicamos  en  el  apartado  de  procedimiento. 
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3.2.  Procedimiento 

La  intervencion  realizada,  basada  en  la  interaction  en  parejas,  con  un  marcado 
caracter  psicoeducativo,  se  estructuro  en  cuatro  partes,  a realizar  ambos  miembros,  los 
cuales  intercambiaban  sus  roles  tutor-tutorado  a lo  largo  de  todo  el  proceso,  alternan- 
do  estos  roles  en  cada  una  de  las  actividades,  y realizando  estas  los  dos  miembros  de 
la  pareja.  La  secuencia  de  tareas  a realizar  era  la  siguiente: 

1)  Conocimiento  acerca  de  la  distincion  entre  autoconcepto  y autoestima 

En  esta  primera  fase,  cada  uno  de  los  componentes  de  la  pareja,  previamente 
auto-formado  sobre  los  conceptos  e implicaciones  de  estos  dos  constructos  sobre  el 
bienestar,  y sobre  el  rendimiento  academico,  formulaba  una  serie  de  preguntas  a su 
companero/a  que  reflejaran  el  conocimiento  de  cada  uno  de  ellos  acerca  de  esos 
temas,  y que  a la  vez,  le  permitiese  al  tutor,  conocer  con  cierta  seguridad  que  su 
tutorado  dominaba  bien  los  terminos  objeto  de  estudio.  Recordamos  que  al  combi- 
nar  los  roles  en  este  primer  momento,  al  igual  que  en  los  siguientes,  en  un  primer 
momento  cada  uno  de  ellos  comprobaba  si  el  companero/a  conocia  los  conceptos 
citados,  y viceversa.  En  este  documento  se  informaba  de  los  elementos  principales 
que  debian  conocerse:  conceptualizacion  correcta  de  los  terminos  y modo  en  el  que 
las  distintas  investigaciones  relacionaban  los  terminos  autoconcepto,  autoestima  y 
autocomportamiento. 

2)  Evaluacion  del  autoconcepto  y de  la  autoestima 

Una  vez  que  los  dos  individuos  conocian  el  sentido  y significado  de  los  terminos 
tratados  se  realizaba  una  primera  evaluacion,  previa  a la  fase  de  intervencion,  que 
permitiese  a cada  uno  de  ellos  conocer  el  grado  de  autoestima  autoinformado  que 
presentaba  cada  uno  de  los  miembros  del  par,  tanto  el/ella  como  su  tutorado  / tutor. 
Entre  los  dos  conocian  mas  a fondo  la  prueba,  comprendian  las  instrucciones,  resol- 
vian  las  dudas  entre  los  dos,  y una  vez  que  ambos  estaban  seguros  de  no  tener  dudas 
-acerca  del  modo  de  contestar  a la  prueba  de  evaluacion  respondian  al  T.S.C.S.,  corri- 
giendo  cada  uno  el  de  su  tutorado.  Al  inicio  de  este  proceso  se  instruyo  a cada  uno 
sobre  el  modo  de  corregir  el  test,  proporcionando  ademas  junto  a las  hojas  de  respues- 
tas  las  instrucciones  de  correccion. 

3)  Conocimiento  «tutor-tutorado» 

En  una  tercera  fase  el  objetivo  fundamental  es  que  el  tutor  conozca  mas  a su 
tutorado.  Dado  que  es  por  parejas,  ambos  realizan  el  ejercicio  alternando  estos  dos 
roles  para  cada  etapa,  en  lugar  de  realizar  primero  toda  la  secuencia  el  tutor  y luego 
intercambiando  los  papeles.  Para  ello  se  aconsejaba  previamente  a cada  uno  de  ellos 
que  uno  contestase  a las  preguntas,  y posteriormente,  una  vez  finalizadas  todas  las 
cuestiones  respondiese  el  otro  miembro.  Esta  fase  pretendia  profundizar  en  las  atribu- 


74 


Miguel  Moreno  Moreno 


ciones  o interpretaciones  que  los  individuos  hacen  de  su  conducta  y que  les  hace 
sentirse  bien  o mal. 

En  esta  etapa  el  intercambio  de  preguntas  se  podia  ayudar  de  las  siguientes  cues- 
tiones  que  se  proporcionaban  a todos  los  sujetos  en  el  siguiente  orden: 

— «Escribe  de  15  a 20  aspectos  positivos  de  tu  forma  de  ser». 

— «Describe  los  aspectos  negativos  que  menos  te  gustan  de  ti». 

— «Explica  a tu  companero/  a por  que  te  gustan  o no  esos  aspectos  y pon  ejemplos 
variados  de  situaciones  concretas  que  te  hacen  sentir  bien  o mal  explicando 
claramente  por  que  te  hacen  sentir  asi». 

La  respuesta  a estas  preguntas  perseguia  fundamentalmente  comprender  un  poco 
mejor  la  naturaleza  irracional  de  muchas  de  esas  creencias  acerca  de  si  mismo,  com- 
puestas  muchas  de  ellas  por  una  .dosis  de  subjetivismo  y falta  de  objetividad. 

4)  Refutation  de  las  creencias  acerca  de  si  mismo 

Una  vez  conocidas  por  el  tutor  aquellos  aspectos  por  los  cuales  el  tutorado  se  siente 
mal  consigo  mismo,  y las  razones  que  da  para  ello,  muchas  de  ellas  totalmente  subje- 
tivas  y con  una  gran  dosis  de  absolutismo,  cada  una  de  ellas  se  iba  cuestionando  con 
el  tutorado  prestando  una  especial  atencion  a la  busqueda  de  ejemplos  reales  de  la 
vida  del  companero  que  demostraran  el  caracter  absolutista  e irracional  de  esas  creen- 
cias acerca  de  si  mismo,  profundamente  asociadas  a sus  interacciones  con  el  medio 
social  mas  cercano,  en  los  casos  en  que  procediera. 

5)  Evaluation  post-intervention 

De  nuevo  tutor  y tutorado  intercambian  roles  contestando  de  nuevo  al  T.S.C.S., 
analizando  cada  uno  de  ellos  las  posibles  razones  por  las  que  puede  haberse  produci- 
do  su  mantenimiento,  descenso  o incremento  de  sus  puntuaciones  en  las  escalas 
medidas. 

3.  RESULTADOS 

a)  Efectos  de  la  intervention  sobre  las  variables  autoconcepto,  autoestima  y 

autocomportamiento 

Para  comprobar  los  efectos  de  la  intervencion  realizamos  un  analisis  de  covarianza 
sobre  las  variables  de  autoestima  utilizando  como  covariado  las  puntuaciones  obteni- 
das  en  la  evaluacion  inicial  previa  a la  intervencion,  resultando  diferencias  estadistica- 
mente  significativas  entre  las  puntuaciones  previas  y posteriores  a la  intervencion  en 
todas  las  variables  medidas. 
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TABLA  1 

anAlisis  de  covarianza  sobre  LA  VARIABLE  AUTOCONCEPTO  (TACPOS) 


Fuente  de  Variacion 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariados 

5175.998 

i 

1175.998 

42.615 

.003 

TAC 

5175.998 

i 

1175.998 

42.615 

Efectos  principales 

957.048 

i 

1175.995 

19.344 

GRUPO 

957.048 

i 

957.048 

19.344 

.000 

Explicado 

6133.046 

2 

3066.523 

61.979 

.000 

Residual 

3018.063 

61 

49.746 

Total 

9151.109 

63 

145.246 

TABLA  2 

anAlisis  de  covarianza  sobre  la  variable  autoestima  (taepos) 


Fuente  de  Variacion 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

2297.940 

i 

2297.940 

40.96 

.000 

TAE 

2297.940 

i 

2297.940 

40.96 

.000 

Efectos  principales 

763.748 

i 

763.748 

13.599 

.000 

GRUPO 

763.748 

i 

763.748 

13.599 

.000 

Explicado 

3061.688 

2 

1530.844 

27.257 

.000 

Residual 

3425.921 

61 

56.163 

Total 

6487.609 

63 

102.978 

TABLA  3 

anAlisis  de  covarianza  sobre  la  variable  autocomport amiento 

(TCO) 


Fuente  de  Variacidn 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

1018.352 

i 

1018.352 

15.541 

.000 

TCO 

1018.352 

i 

1018.352 

15.541 

.000 

Efectos  principales 

2172.422 

i 

2172.422 

33.153 

.000 

GRUPO 

2172.422 

i 

2172.422 

33.153 

.000 

Explicado 

3190.744 

2 

1595.387 

24.347 

.000 

Residual 

3997.163 

61 

65.527 

Total 

7187.938 

63 

114.094 
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TABLA  4 

ANALISIS  DE  COVARIANZA  SOBRE  LA  VARIABLE  PUNTUAClON  TOTAL  (TOT) 


Fuente  de  Variacion 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

23838.723 

i 

23838.723 

46.805 

.000 

TOT 

23838.723 

i 

23838.723 

46.805 

.000 

Efectos  principales 

10744.577 

i 

10744.577 

30.110 

.000 

GRUPO 

10744.577 

i 

10744.577 

30.110 

.000 

Explicado 

34583.300 

2 

17291.650 

48.458 

.000 

Residual 

21767.137 

61 

356.650 

Total 

56350.437 

63 

894.451 

b)  Efectos  de  la  edad  del  tutor  sobre  la  eficacia  del  procedimiento 

Para  comprobar  esta  hipotesis  realizamos  un  segundo  analisis  de  covarianza  sobre 
las  mismas  variables  pero  utilizando  como  variable  independiente  la  edad  del  tutor, 
resultando  un  efecto  nulo  de  esta  variable  sobre  las  diferencias  entre  las  puntuaciones 
pre  y post-intervencion  (ver  Tablas  5,  6,  7 y 8). 


TABLA  5 

ANALISIS  DE  COVARIANZA  SOBRE  LA  VARIABLE  AUTOCONCEPTO  (TAC)  con 
LA  EDAD  DEL  TUTOR  (EDTER)  COMO  VARIABLE  INDEPENDIENTE 


Fuente  de  Variacion 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

560.440 

i 

560.440 

14.340 

.002 

TAC 

560.440 

i 

560.440 

14.340 

.002 

Efectos  principales 

287.246 

6 

47.874 

1.225 

.347 

EDTER 

287.246 

6 

47.874 

1.225 

.347 

Explicado 

847.685 

7 

121.098 

3.099 

.031 

Residual 

586.228 

15 

39.082 

Total 

1433.913 

22 

65.178 

ERIC 
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TABLA  6 

anAlisis  de  covarianza  sobre  LA  VARIABLE  AUTOESTIMA  (TAE)  con  la 
EDAD  DEL  TUTOR  (EDTER)  COMO  COVARIADO 


Fuente  de  Variacion 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

967.242 

i 

967.242 

13.716 

.002 

TOT 

967.242 

i 

967.242 

13.716 

.002 

Efectos  principals 

416.261 

6 

69.377 

.984 

.470 

EDTER 

416.261 

6 

69.377 

.984 

.470 

Explicado 

1383.503 

7 

197.643 

2.803 

.044 

Residual 

1057.801 

15 

70.520 

Total 

2441.304 

22 

110.968 

TABLA  7 

anAlisis  de  covarianza  sobre  la  variable  autocomport amiento 

(TCO)  CON  LA  EDAD  DEL  TUTOR  (EDTER)  COMO  COVARIADO 


Fuente  de  Variacion 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

967.242 

i 

967.242 

13.716 

.002 

TOT 

967.242 

i 

967.242 

13.716 

. .002 

Efectos  principales 

416.261 

6 

69.377 

.984 

.470 

EDTER 

416.261 

6 

69.377 

.984 

.470 

Explicado 

1383.503 

7 

197.643 

2.803 

.044 

Residual 

1057.801 

15 

70.520 

Total 

2441.304 

22 

110.968 

TABLA  8 

anAlisis  de  covarianza  sobre  la  variable  puntuaciOn  total  (tot) 

CON  LA  EDAD  DEL  TUTOR  (EDTER)  COMO  COVARIADO 


Fuente  de  Variacion 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

237.980 

i 

237.980 

3.767 

.071 

TOT 

237.980 

i 

237.980 

3.767 

.071 

Efectos  principales 

406.249 

6 

67.708 

1.072 

.421 

EDTER 

406.249 

6 

67.708 

1.072 

.421 

Explicado 

644.229 

7 

92.033 

1.457 

.255 

Residual 

947.510 

15 

63.167 

Total 

1541.739 

22 

72.352 
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c)  Efectos  de  la  simetria-asimetria  en  el  genero  sobre  la  eficacia  de  la  intervencion 

No  se  observan  tampoco  efectos  diferenciales  del  tratamiento  en  funcion  de  esta 
variable,  tal  como  reflejan  las  tablas  9,  10,  11,  12. 


TABLA  9 

anAlisis  de  covarianza  sobre  la  VARIABLE  AUTOCONCEPTO  (TAC)  con 
EL  SEXO  DEL  TUTOR  (ST)  COMO  VARIABLE  INDEPENDIENTE 


Fuente  de  Variacidn 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

661.223 

i 

661.223 

9.713 

.004 

TAE 

661.223 

i 

661.223 

9.713 

.004 

Efectos  principales 

189.770 

i 

189.770 

2.788 

.104 

ST 

189.770 

i 

189.770 

2.788 

.104 

Explicado 

850.993 

2 

425.496 

6.250 

.005 

Residual 

2450.751 

36 

68.076 

Total 

3301.744 

38 

86.888 

TABLA  10 

anAlisis  de  covarianza  sobre  la  variable  autoestima  (tae)  con  el 

SEXO  DEL  TUTOR  (ST)  COMO  VARIABLE  INDEPENDIENTE 


Fuente  de  Variacidn 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

1599.089 

i 

1599.089 

22.888 

.000 

TAE 

1599.089 

i 

1599.089 

22.888 

.000 

Efectos  principales 

250.814 

i 

250.814 

3.590 

.066 

ST 

250.814 

i 

250.814 

3.590 

.066 

Explicado 

1849.904 

2 

924.952 

13.239 

.000 

Residual 

2115.173 

36 

69.866 

Total 

4365.077 

38 

114.870 
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TABLA  11 

anAlisis  de  covarianza  sobre  la  variable  autocomportamiento 

(TCO)  CON  EL  SEXO  DEL  TUTOR  (ST)  COMO  COVARIADO 


Fuente  de  Variacion 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

889.596 

i 

889.596 

11.896 

.001 

TAE 

889.596 

i 

889.596 

11.896 

.001 

Efectos  principals 

206.127 

i 

206.127 

2.756 

.106 

ST 

206.127 

i 

206.127 

2.756 

.106 

Explicado 

1095.724 

2 

547.862 

7.326 

.002 

Residual 

2692.174 

36 

74.783 

Total 

3787.897 

38 

99.682 

TABLA  12 

anAlisis  de  covarianza  sobre  la  variable  puntuaciOn  total  (tot) 

CON  EL  SEXO  DEL  TUTOR  (ST)  COMO  COVARIADO 


Fuente  de  Variacion 

Suma  de 
Cuadrados 

G.L. 

Media  de 
Cuadrados 

F 

Signif.  F. 

Covariado 

8551.657 

i 

8551.657 

17.287 

.000 

TOT 

8551.657 

i 

8551.657 

17.287 

.000 

Efectos  principales 

1986.743 

i 

1986.743 

4.016 

.053 

ST 

1986.743 

i 

1986.743 

4.016 

.053 

Explicado 

10538.400 

2 

5269.200 

10.652 

.000 

Residual 

17808.369 

36 

494.677 

Total 

28346.769 

38 

745.968 

4.  DISCUSION 


Estudios  recientes  establecen  diferencias  importantes  entre  autoconcepto  y autoes- 
tima,  el  primero  referido  a la  dimension  cognitiva,  y la  segunda  con  un  marcado 
caracter  afectivo,  dependiente  en  gran  medida  de  las  evaluaciones,  positivas  y negati- 
vas,  que  un  sujeto  realiza  acerca  de  si  mismo  (autoestima),  de  lo  que  conoce  acerca  de 
si  (autoconcepto),  y de  su  comportamiento  (autocomportamiento).  A1  estar  la  autoes- 
tima asociada  tanto  a las  propias  evaluaciones  como  a la  informacion  que  nos  propor- 
cionan  otros  significativos,  cabe  esperar  que  caracterfsticas  especfficas  de  aquellos 
como  la  edad,  el  genero,  etc.,  puedan  influir  en  los  efectos  de  la  intervencion  al  estar 
asociadas  a las  relaciones  que  se  establecen  en  el  contexto  social  en  el  que  se  puede  ver 
envuelto  e identificados  un  determinado  individuo.  Los  estudios  citados  en  la  intro- 
duction muestran  resultados  contradictories  a este  respecto.  En  esta  investigation 
observamos  un  efecto  nulo  de  estas  variables  sobre  los  efectos  de  la  intervencion 
disenada.  Esto  quiere  decir  que  no  ha  influido  en  la  mejora  del  autoconcepto,  la 
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autoestima  o el  autocomportamiento  la  simetria  o asimetrfa  en  la  edad  del  tutor  y 
tutorado,  y que  tampoco  la  similitud  o diferencia  de  sexo  entre  ambos  ha  sido  una 
variable  que  permita  explicar  los  resultados  obtenidos.  Tan  solo  el  sexo  del  tutor 
parece  tener  una  influencia  relevante  sobre  la  autoestima  aunque  sin  llegar  a alcanzar 
niveles  estadisticamente  significativos.  Ciertamente  parece  que  tiende  a ser  positiva  la 
participacion  de  un  tutor  del  mismo  sexo  para  modificar  esta  variable.  La  interaccion 
social  estructurada,  en  este  caso  por  medio  de  una  secuencia  de  actividades  claramen- 
te  definida,  parece  ser  un  contexto  adecuado  para  la  mejora  del  autoconcepto  en  la 
medida  en  que  el  dialogo  con  un  igual  permite  conocer  aquello  que  los  demas  ven  y el 
sujeto  no  percibe;  si  el  clima  es  adecuado  y las  actividades  lo  facilitan,  el  alumno 
puede  profundizar  en  aspectos  relacionados  a su  identidad  que  pueden  estar  interfi- 
riendo  en  su  capacidad  para  adaptarse  de  forma  satisfactoria  a las  demandas  del 
entorno  familiar  (padres),  escolar  (educadores)  y social  (relaciones  entre  el  alumno  y 
padres,  profesores  e iguales).  Este  proceso  de  reflexion  acerca  de  si  mismo  se  comple- 
menta  en  el  procedimiento  aplicado  con  la  oportunidad  de  ahondar,  casi  de  forma 
inmediata  en  aspectos  que  el  sujeto  no  conoce  y que  puede  ampliar  preguntando  a su 
compahero.  Si  bien  hemos  visto  que  la  diferencia  de  edad  no  parece  importante, 
podemos  pensar  que  cuanto  mayor  sea  esta  mas  dificil  sera  la  identificacion  con  las 
experiencias  de  la  otra  persona,  e incluso  mas  reparos  encontrara  el  alumno  para 
realizar  determinadas  preguntas.  Estas  dificultades  podrian  verse  incrementadas  si 
existe  ademas  asimetria  en  el  genero.  Otras  razones  podrian  ayudar  a comprender  la 
efectividad  de  la  intervencion.  Si  nos  centramos  en  los  mecanismos  responsables  del 
cambio  en  las  cogniciones,  el  conflicto  cognitivo  (en  terminos  piagetianos),  y socio- 
cognitivo  (desde  un  punto  de  vista  vigotskiano),  nos  permite  comprender  la  efectivi- 
dad del  dialogo  tutor-tutorado  como  elemento  desencadenante  del  cambio,  al  generar 
un  desequilibrio  en  la  estructura  cognitiva  del  sujeto  y motivar  los  procesos  responsa- 
bles del  restablecimiento  del  equilibrio  perdido.  Igual  ocurriria  con  las  evaluaciones 
cognitivas  responsables  de  una  baja  autoestima,  al  focalizar  el  individuo  la  atencion 
sobre  aspectos  y justificaciones  negativas  ignorando  alternativas  o aspectos  positivos 
de  si  mismo.  El  dialogo  y la  oportunidad  de  confrontar,  y no  de  discutir,  puntos  de 
vista  distintos  a los  suyos,  razones  alternativas  que  el  no  ve,  asi  como  aspectos  positi- 
vos que  puede  ver  el  companero,  es  un  elemento  facilitador  del  cambio  en  las  evalua- 
ciones. Logicamente  es  fundamental  que  este  proceso  de  cambio  en  los  aspectos  cogni- 
tivos  y afectivos  vaya  acompanado,  para  que  sea  efectivo  a largo  plazo,  de  algun 
metodo  de  mantenimiento,  como  podria  ser  un  simple  autorregistro,  en  el  que  tutor  y 
tutorado,  registren  durante  un  tiempo  aquellos  tipos  de  situaciones,  aspectos,  o razo- 
namientos,  que  ahoran  perciben  tras  el  proceso  de  intervencion,  una  vez  resuelto  el 
conflicto  y mejorado  el  aprendizaje  (reflejado  esto  en  la  mejora  de  las  puntuaciones  en 
las  variables  medidas),  hasta  que  esta  practica  de  analizar  razones  alternativas  a los 
sucesos,  y esta  identificacion  de  pensamientos  que  reducen  poco  a poco  la  autoestima 
sea  algo  habitual. 

A modo  de  conclusion  hemos  de  mencionar  que  la  tutoria  de  pares,  ademas  de 
como  recurso  educativo,  resulta  efectiva  para  modificar  aspectos  cognitivos  y afecti- 
vos a diferentes  edades  y niveles  educativos.  Empleada  como  tecnica  para  modificar 
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la  autoestima  de  forma  directa  resulta  novedosa.  Este  estudio  deberla  de  complemen- 
tarse  con  otras  investigaciones  que,  realizadas  sobre  poblacion  con  menor  edad,  repli- 
quen  los  resultados  obtenidos,  y analicen  mas  en  profundidad  los  mecanismos  res- 
ponsables  del  cambio  en  las  variables  medidas,  asf  como  otro  tipo  de  interacciones  que 
puedan  tambien  favorecer  el  cambio  en  el  sujeto. 
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RESUMEN 

En  este  articulo  partimos  de  la  base  de  que  es  necesaria  la  insertion  labor al  para  que  los 
internos  en  los  centros  penitenciarios  puedan  conseguir  una  insertion  social  optima  una  vez  se 
encuentren  en  libertad.  Esta  insertion  requiere  un  proceso  normalizador  que  en  ningun  caso 
tiene  que  empezar  cuando  el  interno  se  encuentra  en  libertad  o muy  cerca  de  ella.  En  este 
sentido  presentamos  la  intervention  basada  eh  tres  niveles  de  orientation  para  favorecer  que  el 
interno  pueda  encontrar  un  trabajo  una  vez  este  en  libertad.  En  concreto  presentamos  los 
resultados  de  la  evaluation  del  Programa  de  Orientation  para  la  Insertion  Laboral  que  corres- 
ponded al  primer  nivel  de  intervention.  Utilizando  el  modelo  CIPP  de  Sujflebeam  hemos 
valorado  la  eficacia,  la  eficiencia,  la  efectividad  y el  impacto  del  programa  a partir  de  una 
muestra  de  internos  del  Centro  Penitenciario  Ponent,  cuyos  resultados  consideramos  satisfac- 
torios. 

ABSTRACT 

In  this  report  we  think  that  it  is  essential  to  find  a job  when  prisoners  are  free  to  get  an 
optimal  rehabilitation. 
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We  must  teach  them  the  necessary  strategies  and  skills  to  obtain  a labour  market  integra- 
tion before  they  finish  their  sentence. 

We  introduce  a three  level  guidance  program  and  specially  assessment  to  the  first  level.  We 
have  used  the  CIPP  model  from  Stufflebeam  and  we  have  appreciated  the  efficacy,  the  efficiency 
and  the  effectiveness  from  this  program  which  has  been  aplicated  in  a prison  where  we  consider 
that  the  results  have  been  satisfactory. 


I.  INTRODUCCION 

La  intervention  que  se  lleva  a cabo  en  los  centros  penitenciarios  tiene  la  finalidad 
de  facilitar  la  posterior  insertion  social  de  las  personas  internas.  Esta  intervention 
orientadora  se  asume  desde  una  vision  globalizadora,  la  cual,  a partir  de  las  necesida- 
des  de  los  internos,  tiene  el  objetivo  de  dotarles  de  las  competencias  necesarias  para 
favorecer  su  insertion  social. 

Un  aspecto  de  esta  intervention  seria  la  orientation  para  la  insertion  laboral,  pues 
el  hecho  de  desarrollar  una  actividad  laboral  es  una  de  las  mas  importantes  instancias 
socializadoras  del  ser  humano.  Consideramos  que  sin  una  ocupacion  que  les  permita 
sobrevivir  dignamente  (aunque  no  obtenga  una  autorrealizacion  personal)  es  inviable 
una  insertion  social  minimamente  satisfactory  una  vez  hayan  cumplido  la  sentencia. 

Glasser,  ya  en  1964,  apuntaba  la  necesidad  de  desarrollar  un  trabajo  para  hacer 
posible  la  adaptation  a la  sociedad  de  este  tipo  de  poblacion  (Glasser  en  Morris,  1981). 

Estudios  a nivel  macrosocial  han  comprobado  que  los  indices  de  paro  y de  delin- 
cuencia  aumentan  y disminuyen  paralelamente,  aunque  es  necesario  un  intervalo  de 
tiempo  para  que  se  influencien  (Blanco,  1990;  Cantor  y Land,  1991;  Corcoles,  1994; 
Farrigton  y West,  1990;  entre  otros). 

Sothill  y Holme  (1981)  observaron  que  el  trabajo  favorecia  la  no-reincidencia,  co- 
rrelacionando  las  dos  variables  obtuvieron  una  correlation  negativa,  es  decir  a mas 
tiempo  trabajado  menos  volvian  a delinquir  las  personas  que  habian  estado  recluidas 
en  centros  penitenciarios.  A1  contrario,  comprobaron  que  correlacionaban  positiva- 
mente  el  tiempo  de  prestacion  economica  con  la  reincidencia. 

Diversas  investigaciones  sobre  programas  de  rehabilitation  indican  que  el  trabajo 
tiene  un  peso  factorial  de  hasta  un  20%,  mientras  que  otras  variables  como  la  familia 
tienen  menos  incidencia  en  el  proceso  de  reinsertion  social  (Redondo,  1992),  por  lo 
tanto  podemos  concluir  que  la  capacidad  de  desarrollar  y mantener  un  trabajo  de 
manera  estable  es  uno  de  los  factores  mas  importantes  de  reinsertion  social. 

La  mayoria  de  autores  comparten  la  idea  de  que  la  insertion  laboral  no  solo  se 
refiere  a la  entrada  en  la  vida  activa  sino,  tambien,  a la  definition  correlativa  de  un 
proyecto  de  vida  que  engloba  el  proyecto  profesional,  es  decir,  la  profesion  a ejercer 
que  contribuya  al  desarrollo  completo  de  la  persona  (Fournet  et  al.  en  Echeverria, 
1997:  87). 

Asi,  el  objetivo  fundamental  de  la  intervention  orientadora  seria  «dotar  a las 
personas  de  las  competencias  necesarias  para  poder  identificar,  elegir  y / o recondu- 
cir  alternativas  formativas  y profesionales,  acordes  a su  potencial  y proyecto  vital, 
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en  contraste  con  las  ofertadas  por  los  entornos  formativos  y laborales»  (Echeverria, 
1997:  97).  De  acuerdo  con  esta  afirmacion,  su  autor  concreta  que  las  estrategias 
orientadoras  tienen  que  ir  encaminadas  tanto  a la  prevencion  y a la  intervencion 
social  como  al  desarrollo,  clarificando  valores,  desarrollando  la  capacidad  de  tomar 
decisiones  y facilitando  el  desarrollo  personal,  la  socializacion  y el  conocimiento  del 
mundo  del  trabajo. 

A continuation,  presentamos  la  aplicacion  y evaluation  del  Programa  de  orienta- 
tion para  la  insercion  laboral  destinado  a los  intemos  en  los  centros  penitenciarios, 
integrado  en  el  curriculum  de  los  cursos  de  formacion  profesional  y/o  ocupacional 
que  se  llevan  a cabo  en  estos  centros. 

2.  ANALISIS  DE  LA  SITUACION  INICIAL 

Nuestra  experiencia  en  los  centros  penitenciarios  nos  ha  permitido  detectar  deficits 
en  la  formacion  y orientacion  para  la  insercion  de  los  infernos  en  el  mercado  laboral.  Si 
bien  es  cierto  que,  en  un  primer  momento,  la  intervencion  esta  encaminada  a mejorar 
la  cualificacion  profesional  con  todo  el  proceso  que  conlleva  de  toma  de  decisiones, 
clarification  de  valores,  etc.  nos  damos  cuenta  que  posteriormente  tambien  tenemos 
que  intervenir  para  analizar  y mejorar  las  competencias  individuates  facilitando  los 
conocimientos  y habilidades  necesarias,  asi  como  aumentando  la  autoestima  profesio- 
nal para  que  los  intemos  puedan  desenvolverse  eficazmente  en  el  mercado  laboral  a la 
hora  de  buscar  un  trabajo.  Los  infernos  presentan  un  nivel  bajo  de  motivation  hacia  la 
busqueda  activa  de  trabajo  y una  falta  de  preparation  en  cuanto  a las  estrategias  y 
tecnicas  necesarias  para  llevar  a cabo  esta  busqueda. 

Valverde  (1991)  lo  resume  cuando  afirma  que  ni  su  aspecto,  ni  su  lenguaje  son  los 
mas  adecuados  para  inspirar  confianza  a la  hora  de  buscar  un  trabajo,  y constata  la 
necesidad  de  intervenir  en  este  sentido: 

«En  efecto  aunque  logremos  que  el  recluso  alcance  una  formacion  y especializacion 
laboral,  si  no  le  dotamos  de  unas  habilidades  sociales  mmimas  y de  las  tecnicas 
necesarias  para  enfrentarse  a la  busqueda  de  un  empleo  cuando  saiga  en  libertad,  no 
habremos  avanzado  nada  en  su  proceso  de  adaptation  social»  (Valverde,  1991:  199). 

3.  PROGRAMA  DE  ORIENTACION  PARA  LA  INSERCION  LABORAL 

Son  numerosas  las  investigaciones  que  se  han  llevado  a cabo  sobre  la  insercion 
laboral  de  diversos  colectivos  (jovenes,  poblaciones  con  necesidades  educativas  espe- 
ciales,  mujeres,  etc.)  y desde  diferentes  perspectivas,  tanto  socio-economica,  sociologi- 
ca,  como  psicologica,  todas  ellas  dirigidas  hacia  la  description  del  fenomeno  de  la 
insercion  social  y profesional  en  sus  caracterfsticas  definitorias  y de  las  variables 
implicadas  en  la  explication  del  proceso  (Figuera,  1995). 

Si  nos  centramos  en  el  marco  de  la  orientacion,  Isus  (1996)  apunta  cinco  enfoques 
de  orientacion  en  el  ambito  laboral:  el  de  ocupabilidad,  el  de  selection  y ajuste,  el 
centrado  en  el  desarrollo  de  las  organizaciones,  el  de  desarrollo  de  la  carrera  y para  el 
desarrollo  local  y regional. 
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Lo  que  aqui  centra  nuestra  atencion  son  los  enfoques  de  ocupabilidad,  pues 
describen  el  proceso  de  insercion  desde  la  perspectiva  puntual  del  logro  de  ocupa- 
cion.  Ademas  integran  tanto  factores  personales  como  sociales  en  la  explicacion  del 
modelo. 

Dentro  de  los  enfoques  de  ocupabilidad  encontramos  el  modelo  psicobiologico  de 
empleabilidad,  el  balance  de  competencias  y el  modelo  de  insercion  laboral.  El  modelo 
psicobiologico  se  centra  en  el  analisis  de  los  efectos  psicologicos  que  provoca  la  situa- 
cion  de  desempleo.  El  balance  de  competencias  tiene  el  objetivo  de  acompanar  en  la 
autoevalaucion  de  las  competencias  personales,  profesionales  aptitudinales  y motiva- 
cionales  para  elaborar  un  proyecto  profesional  e incluso  de  formacion  que  garantice  el 
futuro.  Por  ultimo,  el  modelo  de  insercion  pretende  analizar  las  variables  que  pueden 
aumentar  la  empleabilidad  de  las  personas. 

Para  llevar  a termino  nuestra  investigacion  nos  hemos  basado  en  este  ultimo  mo- 
delo. La  mayoria  de  autores  que  trabajan  el  tema  de  la  insercion  laboral  (Blanch,  1990; 
Casals  et  al.,  1989, 1991;  Esteve,  1999;  Figuera,  1996;  Filella,  1998;  GAIU,1994;  Masjuan 
et  al.,  1995, 1996;  Montane,  1993;  Perez  Escoda,  1996;  Villar,  1997,  entre  otros)  estan  de 
acuerdo  en  agrupar  las  variables  que  intervienen  en  la  insercion  laboral  en  tres  blo- 
ques: 

• el  mercado  laboral  o determinantes  situacionales 

• los  determinantes  personales 

• los  determinantes  de  insercion 

En  concreto  se  fundamenta  en  el  modelo  de  orientacion  ocupacional  de  Montane'  (1991). 
Este  modelo  se  basa  en  la  interaction  dinamica  de  tres  elementos:  el  mercado  laboral,  el 
individuo  cjue  busca  trabajo  y las  estrategias  para  la  busqueda  de  trabajo. 

En  cuanto  al  mercado  laboral,  la  relacion  entre  las  ofertas  y demandas  de  empleo  es 
el  primer  aspecto  que  hemos  de  evaluar,  ya  que  la  aproximacion  a las  posibilidades 
reales  de  insercion  viene  dada  por  la  relacion  entre  las  ofertas  de  colocation  y el 
numero  de  solicitantes  por  cada  tipo  de  ocupacion. 

Por  otro  lado,  el  individuo  demandante  de  empleo  esta  condicionado  por  su  curricu- 
lum, por  su  capacidad  de  aprendizaje  teorico-tecnico  y por  las  actitudes  de  insercion 
(autoestima  profesional,  disponibilidad  laboral  y madurez  ocupacional). 

Finalmente,  la  probabilidad  de  exito  en  el  proceso  de  busqueda  de  empleo  depen- 
dera  del  dominio  de  las  estrategias  de  insercion  y de  la  capacidad  para  ponerlas  en  prdctica 
(elaboration  de  la  carta  de  presentation  y del  curriculum,  planificacion  de  la  busque- 
da de  ofertas,  responder  a una  entrevista  de  selection  de  personal,  pruebas  psicotecni- 
cas,...).  Jariot  y Martinez  (1994:  241)  corroboran  este  enfoque  cuando  apuntan  las  tres 
variables  mas  influyentes  a la  hora  de  encontrar  trabajo:  en  primer  lugar  la  variable 
«saber  comportarse  en  una  entrevista»,  seguida  de  la  variable  «tener  confianza  en 
encontrar  empleo»  y en  tercer  lugar  «estar  dispuesto  a aprender  cosas  nuevas  de  la 
profesion». 

En  este  sentido,  los  contenidos  del  programa  que  presentamos  se  agrupan  en 
cuatro  bloques: 

I.  Analisis  del  mercado  laboral  y del  rol  profesional  (necesidades  y competencias 
profesionales). 
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II.  Como  buscar  un  lugar  de  trabajo  en:  OTG,  ETT,  consultores  de  empresa,  medios 
de  comunicacion,  amigos  y conocidos,  servicios  de  insercion  de  las  comunidades 
autonomas,  ayuntamientos  y otras  instituciones,...). 

III.  Proceso  de  selection  (carta  de  solicitud,  curriculum  vitae,  entrevista,  pruebas 
psicotecnicas...). 

IV.  Derechos  y deberes  del  trabajador  y modalidades  de  contratacion. 

Cada  unidad  esta  compuesta  de  cuatro  apartados: 

I.  Ficha  de  programacion  de  la  unidad,  donde  consta: 

— la  finalidad  de  la  unidad 

— el  esquema  de  los  contenidos 

— la  metodologia  y las  actividades 

— los  recursos  necesarios  para  llevarla  a cabo 

— la  evaluation 

II.  Contenidos  de  la  unidad:  en  este  apartado  se  exponen  los  contenidos  que  el 
profesor  transmitira  a los  alumnos. 

III.  Fichas  didacticas  de  la  unidad:  tienen  el  objetivo  de  facilitar  el  proceso  de 
ensenanza-aprendizaje  a los  alumnos.  El  numero  varia  en  funcion  de  los  contenidos 
de  cada  unidad. 

IV.  Ficha  Resumen:  la  deben  cumplimentar  los  alumnos  y sirve  como  feed-back  del 
proceso  de  ensenanza-aprendizaje  (Filella,  1998). 

Aparte  de  los  materiales  que  se  sugieren  en  las  fichas,  el  profesor  puede  utilizar 
cualquier  tipo  de  material  que  considere  adecuado  para  trabajar  la  unidad. 

4.  ESTRATEGIAS  PARA  LA  APLICACION  DEL  PROGRAMA 

La  estrategia  para  aplicar  el  programa  coincide  con  el  modulo  integrado  en  el  curricu- 
lum de  formacion  propuesto  por  Montane  (1990),  en  el  cual  los  programas  de  orienta- 
tion para  la  insercion  laboral  se  incluyen  dentro  de  los  cursos  de  formacion  profesio- 
nal  y/o  ocupacional,  y son  los  profesores  de  dichos  cursos  los  que  aplican  el  programa 
con  el  asesoramiento  y apoyo  de  un  orientador  laboral. 

En  nuestro  caso  el  programa  se  incluye  dentro  de  los  cursos  de  formacion  profesio- 
nal  y ocupacional  que  se  llevan  a cabo  en  los  centros  penitenciarios,  es  decir,  se  van 
incorporando  actividades  del  programa  de  orientation  para  la  busqueda  de  empleo  a 
lo  largo  del  curso: 

• El  profesor  del  curso  asume  la  responsabilidad  de  preparar  profesionalmente  a 
los  alumnos  transmitiendo  los  contenidos  propios  del  curso  (electricidad,  cons- 
truction, confection,  carpinteria,  automocion,...)  al  tiempo  que  facilita  las  tecni- 
cas  y habilidades  necesarias  para  la  busqueda  de  trabajo. 

• El  orientador  laboral  (normalmente  el  pedagogo  en  los  centros  penitenciarios) 
forma  a los  profesores  de  los  cursos  (modelo  de  consulta  (programa  de  forma- 
cion de  formadores)  y desarrolla  un  papel  de  apoyo  y coordination  de  todo  el 
proceso. 

Dada  la  movilidad  dentro  de  los  grupos  de  formacion  en  los  centros  penitenciarios 
seria  conveniente  que  la  aplicacion  de  este  modulo  siga  una  temporalizacion  continua, 
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es  decir,  que  se  procure  dar  un  hilo  conductor  a las  diferentes  actividades  que  se 
reparten  gradualmente  a lo  largo  del  curso. 

5.  EVALUACION  DEL  PROGRAMA 

Son  muchos  los  modelos  de  evaluacion  de  programas  existentes  y que  recogen  diferen- 
tes autores  Colas  y Rebollo,  1993;  Medina  y Villar,  1996;  Latorre  et  al.,  1996;  Tejedor  et  al., 
1994,  entre  otros.  Castillo  y Gento  (1996)  proponen  una  clasificacion  de  los  modelos 
agrupados  en  tres  tipos:  el  conductista-eficientista,  el  de  corte  humanistico  y el  holfstico. 

Dentro  del  modelo  conductista-eficiencista,  enconctramos  el  modelo  de  consecu- 
cion  de  objetivos  de  Tyler,  el  de  la  figura  de  Stake,  el  de  planificacion  educativa  de 
Cronbach,  el  CIPP  de  Stufflebeam,  el  CSE  de  Alkin,  estos  tres  ultimos,  tambien  llama- 
dos  modelos  de  facilitation  de  decisiones  o de  toma  de  decisiones. 

El  modelo  humanistico  acoge  el  de  contraposition  de  Owens  y Wolf,  el  de  atencion 
al  cliente  de  Scriven  y el  de  crftica  artfstica  de  Eisner  y por  ultimo,  dentro  del  modelo 
holfstico  se  incluyen  la  evaluacion  respondente  de  Stake,  la  evaluacion  iluminativa  de 
Parlett  y Hamilton  y la  evaluacion  holfstica  de  Macdonald  (Castillo  y Gento  en  Medi- 
na y Villar,  1996). 

En  nuestro  estudio  hemos  optado  por  el  modelo  CIPP  de  Stufflebeam  para  evaluar 
la  aplicacion  de  nuestro  programa,  utilizado  con  exito  en  varias  investigaciones  eva- 
luativas  (Martinez  Munoz,  1995;  Perez  Escoda,  1996;  Pineda,  1994,  entre  otros).  Tal 
como  afirma  el  autor  «la  evaluacion  es  un  instrumento  para  ayudar  a que  los  progra- 
mas sean  mejores  para  la  gente  a la  que  deben  servir»  (Stufflebeam  en  Bartolome, 
1990).  Este  modelo  propone  cuatro  dimensiones  evaluadoras:  Contexto,  Entrada,  Pro- 
ceso  y Producto,  las  cuales  corresponden  a cuatro  tipos  de  decisiones,  respectivamen- 
te:  Planificacion,  Programacion,  Aplicacion  y Reciclaje. 

A grandes  rasgos  podemos  afirmar  que: 

— La  evaluacion  de  contexto  juzga  si  los  objetivos  propuestos  son  suficientemente 
coherentes  respecto  a las  necesidades  valoradas. 

— La  evaluacion  de  entrada  tiene  como  objetivo  valorar  el  diseho  y los  recursos 
disponibles  para  conseguir  las  finalidades  del  programa. 

' — La  evaluacion  de  proceso  consiste  en  una  continua  verificacion  de  la  aplicacion 
del  programa.  Aporta  la  information  necesaria  para  saber  como  se  desarrolla. 

— La  evaluacion  de  producto  se  lleva  a cabo  una  vez  finalizado  el  programa  y 
valora  la  eficacia,  la  efectividad,  la  eficiencia  y el  impacto  (Stufflebeam,  1987). 

Una  vez  seleccionado  el  modelo  de  evaluacion  es  necesario  establecer  el  diseho  de 
la  evaluacion.  Actualmente  la  tendencia  dominante  en  las  investigaciones  evaluadoras 
es  buscar  la  complementariedad  metodologica,  porque  la  pluralidad  permite  ampliar 
el  conocimiento  de  la  realidad. 

Considerando  las  metodologfas  cuantitativas  podemos  citar  la  experimental,  la 
cuasiexperiemntal  y la  no  experimental  o ex  post-facto.  La  metodologfa  experimental 
y la  cuasiexperimental  buscan  las  relaciones  de  causalidad  a partir  de  la  manipulacion 
intencionada  de  la  variable  independiente  para  descubrir  los  efectos  que  produce  esta 
manipulacion  sobre  la  variable  dependiente,  a diferencia  de  los  disenos  no  experimen- 


Evaluation  del  programa  de  orientation  para  la  insertion  laboral  en  los  centros  penintenciarios 


89 


tales  o ex  post-facto  donde  los  efectos  de  la  variable  independiente  ya  se  han  produci- 
do  y basicamente  podemos  estudiar  sus  resultados,  describiendo,  correlacionando, 
comparando.  En  los  disenos  cuasiexperimentales  se  parte  de  situaciones  reales  o de 
campo,  este  es  el  caso  de  la  mayoria  de  investigaciones  en  educacion  (Perez  Escoda, 
1996:  97),  donde  el  evaluador  trabaja  con  grupos  constituidos  y no  puede  escoger  la 
muestra  al  azar,  como  es  el  caso  de  los  disenos  experimentales. 

Nuestra  investigacion,  tambien,  queda  enmarcada  en  el  campo  de  la  educacion  y, 
como  es  habitual,  no  queda  inicialmente  garantizada  la  equivalencia  entre  los  grupos 
experimentales  y los  grupos  control;  por  lo  cual  hemos  optado  por  un  diseno  de  la 
metodologia  cuasiexperimental,  en  concreto  el  de  grupos  no  equivalentes  pretest- 
postest  con  grupo  control. 

Como  tecnicas  para  llevar  a cabo  la  investigacion  hemos  utilizado  un  cuestionario 
de  insercion  laboral  que  ha  actuado,  a la  vez,  como  pretest  y postest,  y varios  cuestio- 
narios  para  conocer  la  opinion  de  las  personas  implicadas  (profesores  y alumnos)  en  el 
programa  de  caracter  mas  cualitativo,  que  complementan  la  metodologia  cuantitativa 
(Perez  Escoda  en  Filella,  1998). 

Evaluacion  de  contexto 

La  muestra  utilizada  ha  sido  de  256  internos  que  asistian  a cursos  de  formacion 
ocupacional  en  el  Centro  penitenciario  Ponent  en  Lleida,  entre  octubre  de  1993  y julio 
de  1996,  de  los  cuales  189  formaban  el  grupo  experimental  y 67  el  grupo  control,  es 
decir,  estos  ultimos  no  participaban  en  la  aplicacion  del  programa.  Las  especialidades 
de  los  cursos  fueron  Automocion,  Artes  Graficas,  Confeccion  Industrial,  Construccion, 
Electricidad,  Encuadernacion,  Carpinteria  e Informatica. 

La  muestra  estaba  formada  por  internos  con  una  condena  inferior  a 4 anos,  de  los 
cuales,  un  11%  eran  mujeres  y un  89%  hombres,  entre  25  y 35  anos,  con  un  bajo  nivel 
de  estudios  (Certificado  de  Escolaridad)  y que  carecian  de  conocimientos  sobre  la 
busqueda  de  trabajo.  Estas  caracteristicas,  antes  mencionadas,  las  encontramos  repre- 
sentadas  tanto  en  el  grupo  experimental  como  en  el  grupo  control,  ya  que  el  nivel  de 
insercion  inicial  no  presen ta  diferencias  significativas. 

Evaluacion  de  entrada 

Para  adecuar  mejor  el  programa,  al  contexto  descrito,  pedimos  la  colaboracion  de 
un  grupo  de  expertos  o jueces.  Una  vez  analizado  estadisticamente  el  resultado  me- 
diante  la  prueba  del  Coeficiente  de  Concordancia  de  «W»  de  Kendall  consideramos 
satisfactory  el  resultado  obtenido  de  0,61  para  continuar  la  investigacion. 

Evaluacion  de  proceso 

En  relacion  a la  evaluacion  de  proceso  nos  servimos  de  las  valoraciones  emitidas 
por  todos  los  profesores  de  los  cursos  de  formacion  ocupacional  y por  un  grupo  de  52 
alumnos  (escogidos  aleatoriamente)  que  participaron  en  el  programa. 
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En  general  podemos  afirmar  que  la  aplicacion  del  programa  no  comporto  grandes 
dificultades  en  la  mayoria  de  los  cursos.  En  cualquier  caso  se  conto  con  la  colaboracion 
del  orientador  laboral  del  centro,  siempre  que  el  profesor  lo  considero  oportuno. 

De  la  informacion  extraida  hemos  de  destacar  que  los  profesores  dedicaron  una 
media  de  aproximadamente  8 horas  a la  preparacion  del  material  para  impartir  el 
modulo  de  insercion.  La  media  de  horas  dedicadas  a la  aplicacion  fue  de  18  h.  30  m., 
temporalizacion  que  se  considera  adecuada,  entendiendo  que  el  modulo  propuesto, 
por  el  Departamento  de  Trabajo,  para  los  cursos  de  formacion  ocupacional  es  de  20 
horas.  Si  analizamos  el  tiempo  de  forma  global,  se  observa  que  se  ha  incidido  mas  en 
la  parte  practica,  pues  el  numero  de  horas  practicas  dobla  el  numero  de  horas  teoricas, 
aspecto  que  valoramos  positivamente. 

En  cuanto  a la  valoracion  de  los  alumnos,  hay  que  considerar  que  en  un  principio 
no  aceptaron  con  mucho  interes  el  programa,  pero  esta  desmotivacion  inicial  se  fue 
superando  a medida  que  avanzaba  el  curso.  La  opinion  de  los  alumnos  manifestada 
en  el  cuestionario  anonimo  de  valoracion  final  fue  muy  positiva. 

En  referenda  a los  items  sobre  la  utilidad  de  incluir  en  el  curso  este  tipo  de 
actividades,  el  67%  de  los  internos  encuestados  contestaron  «Mucho»  y el  resto  «Bas- 
tante».  Estas  respuestas  coinciden  con  el  siguiente  item  sobre  la  consideracion  de  si  ha 
valido  la  pena  participar  en  estas  actividades,  donde  las  2/3  partes  han  contestado 
que  «Mucho»  (67,3%)  y el  resto  «Bastante». 

Evaluacion  de  resultados 

En  este  apartado  medimos  los  resultados  que  se  han  obtenido,  teniendo  en  cuenta 
la  eficacia,  la  efectividad,  la  eficiencia  y el  impacto. 

Como  ya  hemos  anunciado,  utilizamos  una  metodologia  de  diseno  cuasiexperi- 
mental,  pretest-postest  con  grupo  control. 


Grupo  Experimental 

Pretest 

PROGRAMA 

Postest 

Grupo  Control 

Pretest 

A partir  de  este  diseno  el  analisis  estadistico  se  basa  en  tres  situaciones  diferentes. 
Tendremos  en  cuenta  si  la  situacion  es  de  comparacion  o de  relacion,  si  se  trata  de 
grupos  independientes  o relacionados  y si  nos  encontramos  delante  de  datos  de  distri- 
bution normal  (situacion  parametrica)  o de  distribution  libre  (situacion  no  parametrica): 

• Analisis  de  la  situacion  inicial.  Comprobamos  la  situacion  de  partida  de  los 
grupos  experimental  y control  mediante  la  comparacion  de  medias  para  grupos 
independientes,  partiendo  de  los  resultados  del  pretest  (cuestionario  de  inser- 
cion laboral):  «t»  Student  o «U»  de  Mann-witney. 

• Analisis  de  la  situacion  final.  Comparamos  las  medias  para  grupos  indepen- 
dientes a partir  de  los  resultados  del  postest:  «t»  Student  o «U»  de  Mann- 
witney. 
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° Analisis  entre  situation  inicial  y final  en  cada  grupo.  Utilizamos  la  comparacion 
de  medias  para  grupos  relacionados:  «t»  Student  o «T»  Wilcoxon. 

a)  En  relation  con  la  eficacia 

La  comparacion  entre  las  medias  de  los  grupos  experimental  y control  en  el  pretest 
evidencia  la  equivalencia  en  la  situation  inicial.  En  cambio,  si  comparamos  las  medias 
de  los  dos  grupos  obtenidas  a partir  del  postest,  es  decir,  en  la  situation  final,  pode- 
mos  observar  que  si  que  existen  diferencias  con  un  nivel  de  signification  de  0,001,  a 
favor  del  grupo  experimental  (ver  tabla  1). 

Finalmente,  si  comparamos  las  situaciones  inicial  y final  de  cada  grupo  por  separa- 
do,  podemos  ver  que  las  diferencias  que  encontramos  en  el  grupo  control  no  son 
significativas  estadisticamente;  mientras  que  la  media  global  del  grupo  experimental 
ha  aumentado  significativamente  con  un  nivel  de  probabilidad  asociada  de  riesgo 
inferior  al  uno  por  mil.  A partir  de  aqui  podemos  atribuir  a la  aplicacion  del  programa 
la  mejora  en  el  nivel  de  insertion  laboral  de  los  alumnos  del  grupo  experimental,  es 
decir,  han  aumentado  sus  conocimientos  y habilidades,  asi  como  su  autoestima  profe- 
sional. 


TABLA  1 

CONTRATE  DE  LAS  MEDIAS  OBSERVADAS  ENTREGRUPOS  E INTRAGRUPOS 
EN  LAS  SITUACIONES  INICIAL  Y FINAL 


Grupo  experimental 

Grupo  Control 

0 Pretest 

5,52 

5,54 

n.  s. 

0 Postest 

7,68 

5,55 

* * * 

* * * p<0,001 

* * * 

n.  s. 

Si  comparamos  las  medias  de  todas  las  variables  que  intervienen  hemos  de  decir 
• que  las  mejoras  se  producen  independientemente  de  estas  variables  y de  su  interac- 
tion. Las  variables  que  hemos  considerado  son  el  sexo,  la  edad,  la  condena,  el  nivel  de 
estudios,  los  cursos  de  formation  ocupacional  realizados  anteriormente,  la  experiencia 
laboral,  los  conocimientos  y las  habilidades  previas  para  la  busqueda  de  trabajo. 

Los  contrastes  realizados  hasta  ahora  evidencian  una  influencia  positiva  de  nues- 
tro  programa,  que  se  corroboran  cuando  controlamos  los  efectos  del  pretest:  a traves 
del  coeficiente  de  Correlation  Multiple  (0,696)  y su  coeficiente  de  Determination 
(0,834),  observamos  como  el  83,4%  de  la  varianza  obtenida  se  explica  por  la  variable 
independiente  (programa). 

Estos  datos  estadisticos  se  complementan  con  la  valoracion  de  los  profesores  e 
intemos  que  han  participado  en  la  aplicacion  del  programa,  teniendo  en  cuenta  la 
siguiente  escala:  Mucho,  Bastante,  Poco,  Nada. 
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9 Los  profesores 

La  valoracion  que  hacen  estos  del  aprendizaje  del  programa  es  muy  positiva.  El 
total  del  profesorado  (8)  creen  que  los  alumnos  han  aumentado  «Mucho»  los  conoci- 
mientos  sobre  insercion  laboral  y 7 de  ellos  consideran  que  tambien  han  mejorado 
«Mucho»  en  el  desarrollo  de  las  habilidades  de  insercion;  solo  uno  contesta  «Bastante» 
en  este  ultimo  item. 

En  cuanto  a la  autoestima  profesional  de  los  internos,  7 de  los  profesores  conside- 
ran que  ha  aumentado  «Bastante»  y uno  considera  que  «Poco».  De  todas  maneras  este 
ultimo  item  es  dificil  de  valorar. 

• Los  alumnos 

La  valoracion  de  los  alumnos  respecto  a estas  actividades  tambien  es  muy  favora- 
ble: 

En  respuesta  a la  pregunta  sobre  la  mejora  de  la  informacion  relacionada  con  el 
mercado  de  trabajo  encontramos  un  33%  de  los  internos  que  considera  que  ha  mejora- 
do «Mucho»,  un  63%  que  ha  mejorado  «Bastante»  y un  4%  que  su  informacion  ha 
mejorado  «Poco». 

En  cuanto  a las  habilidades  de  busqueda  de  trabajo,  los  resultados  son  los  siguien- 
tes:  un  29%  de  los  internos  considera  que  estan  «Muy»  capacitados,  un  67%  «Bastante» 
y unicamente  un  4%  considera  que  no  esta  mas  capacitado  para  encontrar  trabajo  de  lo 
que  lo  estaba  antes  de  comenzar  el  programa. 

Respecto  a la  motivacion  para  la  busqueda  de  trabajo,  un  62%  ha  contestado 
«Mucho»,  un  36%  «Bastante»  y un  2%  que  han  aumentado  «Poco»  las  ganas  de  buscar 
trabajo. 

Las  respuestas  sobre  la  aceptacion  de  nuevos  cursos  de  formacion  han  sido:  un 
52%  lo  haria  de  forma  «Muy»  positiva,  un  42%  ha  contestado  «Bastante»  y un  12% 
«Poco». 

A partir  de  los  datos  que  hasta  ahora  hemos  ido  apuntando,  podemos  considerar 
eficaz  el  programa  porque  ha  aumentado  el  nivel  de  insercion  (conocimientos,  habili- 
dades y autoestima  profesional)  de  los  internos  que  han  participado  en  el,  indepen- 
dientemente  de  las  otras  variables  que  han  intervenido  y que  hemos  estudiado.  Con- 
sideramos  fundamental  la  variable  autoestima  profesional  en  el  caso  de  la  poblacion 
interna  en  los  centros  penitenciarios. 

b)  En  relacion  con  la  efectividad 

Para  valorar  la  efectividad  nos  centraremos  en  la  utilidad  real  del  programa,  es 
decir,  tratamos,  seis  meses  despues  de  finalizar  los  cursos,  de  comprobar  la  insercion 
laboral  de  los  internos  que  participaron  en  el  programa,  comparando  los  indices  de 
insercion  conseguidos  con  los  del  grupo  control.  Presentamos  los  resultados  obtenidos 
en  la  siguiente  tabla: 
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TABLA  2 

comparaciOn  de  la  inserciOn  laboral  entre  el  grupo 

EXPERIMENTAL  Y EL  GRUPO  CONTROL 


GRUPO 

EXPERIMENTAL 

CONTROL 

Centros  penitenciarios 

102 

70,3% 

30 

58,8% 

Insercion  laboral 

21 

14,4% 

5 

9,80% 

No  trabajan 

10 

6,89% 

3 

5,88% 

No  localizados 

4 

2,75% 

7 

13,7% 

Residencia  en  el  extranjero 

4 

2,75% 

3 

5,88% 

Defuncion 

3 

2,06% 

3 

5,88% 

Realizan  estudios  FO 

1 

0,68% 

0 

0% 

Total 

145 

100% 

51 

100% 

Para  valorar  los  resultados  hemos  de  tener  en  cuenta  que  unicamente  se  ha  podido 
comprobar  la  insercion  laboral  del  30%  de  los  internos  del  grupo  experimental  y del 
42%  del  grupo  control;  el  resto  todavfa  cumplia  la  condena. 

Entendiendo  que  la  muestra  de  los  internos  en  libertad  es  muy  reducida,  desde 
nuestro  punto  de  vista  los  resultados  obtenidos  pueden  considerarse  satisfactorios,  ya 
que  el  48%  de  los  sujetos  del  grupo  experimental  que  estan  en  libertad  ha  encontrado 
trabajo  y el  23%  del  grupo  control  tambien.  Hay  que  destacar  que  muchos  de  los 
internos  ocupados  no  desarrollan  trabajos  relacionados  con  la  especialidad  del  curso 
que  realizaron. 


TABLA  3 

comparaciOn  de  la  inserciOn  laboral  sobre  el  total  de  internos 

EN  LIBERTAD  ENTRE  EL  GRUPO  EXPERIMENTAL  Y EL  GRUPO  CONTROL 


GRUPO 

EXPERIMENTAL 

CONTROL 

Total  en  libertad 

43 

100% 

21 

100% 

Insercion  laboral 

21 

48,8% 

5 

23,8% 

c)  En  relacion  con  la  eficiencia 

Podemos  constatar  que  los  beneficios  obtenidos  rentabilizan  la  inversion  realizada 
en  recursos  funcionales,  humanos  y materiales,  puesto  que  la  aplicacion  del  programa 
no  supone  ningun  incremento  excesivo  en  el  trabajo  de  los  profesores. 
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d)  En  relacion  con  el  impacto 

Una  vez  acabada  la  investigation,  no  destacamos  consecuencias  no  previstas  debi- 
das  a la  aplicacion  del  programa.  Consideramos  que  el  hecho  de  estar  en  contacto  con 
todos  los  implicados  a lo  largo  de  toda  la  experiencia  ha  reducido  al  maximo  las 
situaciones  imprevistas. 

El  programa  que  hemos  evaluado  supone  el  primero  de  los  tres  niveles  progresivos 
de  orientacion  ocupacional  que  proponemos,  en  los  cuales  se  establece  y coordina  un 
itinerario  formativo-ocupacional  con  el  objetivo  final  de  insertar  laboralmente  al  inter- 
no  cuando  obtenga  la  libertad  condicional  i/o  definitiva: 

Segundo  nivel 

Este  nivel  se  basa  en  el  modulo  formativo  y se  aplica  a aquellos  internos  que 
disfrutan  de  permisos  ordinarios  de  salida.  La  accion  formativa  es  mas  puntual  y 
especializada,  y se  incide  mas  en  la  aplicacion  practica  de  los  contenidos,  ya  que  los 
internos  tienen  la  posibilidad  de  aplicar  los  conocimientos  y habilidades  durante  las 
salidas  al  exterior.  La  intervencion  es  grupal  y es  llevada  a cabo  por  el  orientador 
laboral  (el  pedagogo  del  centro),  que  dinamiza  el  grupo,  favoreciendo  el  debate  entre 
los  alumnos  a lo  largo  de  20  a 30  horas  distribuidas  en  sesiones  de  dos  horas.  La 
evaluation  se  realiza  una  vez  han  regresado  de  permiso. 

Tercer  nivel 

Podemos  distinguir  dos  casos  en  funcion  de  la  situation  penitenciaria  del  usuario: 

a)  Internos  en  tercer  grado  de  tratamiento  penitenciario  que  se  encuentran  ubica- 
dos  en  secciones  o centros  abiertos  y a quienes  se  les  permite  salir  diariamente 
a la  comunidad  para  formarse,  buscar  empleo  o trabajar.  En  este  caso  la 
intervencion  la  realiza  el  educador  asignado  por  el  centro  que  actua  como 
orientador  e «insertor»  laboral,  facilitando  individualmente  las  tecnicas  y habi- 
lidades. 

b)  Liberados  condicionales  y liberados  definitivos,  cuyo  seguimiento  se  realiza  por  las 
comisiones  territoriales  de  asistencia  social  penitenciaria  (CTASP)  de  cada  pro- 
vincia.  La  orientacion  la  lleva  a cabo  el  «insertor»  laboral  de  dicha  comision. 

Es  muy  importante  que  el  paso  a este  ultimo  eslabon  se  produzca  de  forma  coordi- 
nada  y progresiva,  estableciendo  un  circuito  de  derivation  de  casos  desde  el  Centro 
Penitenciario  con  un  mmimo  de  tres  meses  de  antelacion  a la  obtencion  de  una  plaza 
en  el  centro  abierto  correspondiente  o a la  puesta  en  libertad. 

La  intervencion  se  concretara  en  tres  lrneas  basicas  de  actuation: 

— Asesoramiento  e information  puntual:  atencion  de  demandas  puntuales  en  las 
que  no  se  realiza  seguimiento. 

— Formativa:  previa  a la  insercion  laboral  en  los  casos  de  usuarios  que  carecen  de 
formation  profesional  i/o  experiencia  laboral. 

— Insercion  laboral  directa,  dentro  de  la  cual,  se  contemplan  dos  opciones: 
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° Orientation  para  la  insertion  laboral:  el  usuario  cuenta  con  experiencia  labo- 
ral (que  podria  haber  adquirido  en  el  centro  penitenciario,  o bien,  antes  del 
ingreso),  pero  no  posee  los  conocimientos  necesarios  para  buscar  empleo,  asi 
que  se  ha  de  proporcionar  al  usuario  las  tecnicas  y habilidades  de  insertion 
necesarias. 

° Busqueda  individualizada:  en  este  caso  el  usuario  cuenta  con  una  buena 
experiencia  laboral  reciente,  o bien,  ha  participado  en  todos  los  niveles  ante- 
riores  de  insertion  durante  su  estancia  en  la  institution  y puede  buscar 
trabajo  directamente. 

Hay  que  destacar  que  es  posible,  y a la  vez  necesaria,  la  coordination  entre  los 
diferentes  niveles. 
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RESUMEN 

Este  trabajo  presenta  modelizaciones  logit-binomial  de  la  «demanda  de  Educacion  Supe- 
rior»  y de  los  «resultados  obtenidos  en  primer  curso»  de  los  graduados  en  Ensefianzas  Medias 
que  se  matriculan  en  la  Facultad  de  Educacion  de  la  Universidad  de  Murcia  en  las  titulaciones 
de  Magisterio  y Pedagogia.  Utilizando  dichos  modelos  se  intenta  establecer  los  condicionantes 
de  la  eleccion  de  alternativas  por  parte  de  los  estudiantes.  Incorporamos,  entre  otras,  aquellas 
variables  que  la  «teon'a  del  capital  humano»  considera  como  relevantes  en  las  decisiones  de 
invertir  en  educacion.  Los  modelos  estimados  explican:  por  un  lado,  las  elecciones  educativas  de 
los  estudiantes  en  funcion  de  los  logros  educativos  de  sus  madres,  el  expediente  academico  y la 
opcion  de  COU;  y por  otro,  los  resultados  obtenidos  por  los  estudiantes  en  primer  curso 
observando  que  las  calificaciones  previas  y la  Opcion  de  COU  son  las  variables  que  mejor 
explican  el  e'xito  o el  fracaso. 

ABSTRACT 

This  research  presents  the  logit-binomial  modelling  of  the  demand  for  High  Education  and 
of  the  secondary  first  year  students'  results,  who  have  registered  at  the  Education  Faculty  at 
the  University  of  Murcia.  Using  such  models,  it  has  been  tried  to  establish  the  conditioning 
factors  which  influence  the  students's  election  of  course  options.  We  introduce,  among  others, 
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those  variables  the  «human  capital  theory»  considers  most  relevant  to  the  decisions  for  inves- 
ting in  Education.  The  estimated  models  explain , in  one  hand , the  students'  educational 
choices  considering  their  mothers  s educational  success,  their  academic  performance  and  COU 
option  students  choose;  on  the  other  hand,  these  models  explain  the  results  students  obtain  in 
their  first  year  at  university,  taking  into  account  that  their  previous  results  and  the  COU 
option  are- the  variables  which  best  explain  and  reflect  the  students'  success  or  failure. 


I.  INTRODUCTION 

«La  evaluation  de  la  calidad  de  la  education  universitaria  se  ha  convertido  no  solo 
en  una  prioridad  sino  tambien  en  una  exigencia  tanto  para  las  propias  universidades 
como  para  los  gobiemos  y las  administraciones  publicas»  (MEC,  1998). 

Con  esta  frase  se  abre  el  documento  Gufa  de  Evaluacion  del  Plan  Nacional  de  la 
Calidad  de  las  Universidades.  De  sobra  es  conocida  la  prioridad  que  la  evaluacion 
institucional  esta  recibiendo  por  parte  de  las  universidades  de  todo  el  Estado.  Desde 
que  en  1995  se  estableciese  el  primer  Plan  de  Evaluacion  cada  ano  son  mas  la's  univer- 
sidades que  vienen  tomando  parte  en  las  convocatorias  de  ayudas  a proyectos  de 
evaluacion  del  MEC  con  el  fin  de  someter  a evaluacion  un  numero  cada  vez  mas 
creciente  de  titulaciones. 

Con  el  fin  de  facilitar  la  tarea  evaluativa,  el  MEC  ha  designado  un  Comite  Tecnico 
encargado  de  elaborar  una  Gufa  de  Evaluacion.  En  dicha  Gufa  aparecen  las  normas  y 
los  protocolos  que  permitan  a las  universidades  seguir  procesos  y metodologfas  simi- 
lares.  Ante  la  proliferacion  de  formas,  tipos  y procedimientos  de  evaluacion,  el  MEC 
ha  optado  por  un  modelo  globalizado  en  el  que  se  articule  la  evaluacion  interna 
(autoevaluacion)  y la  evaluacion  externa,  asf  como  las  evaluaciones  formativa  y suma- 
tiva.  Esta  evaluacion  cubre  las  tres  grandes  dimensiones  de  la  universidad:  la  ense- 
nanza, la  investigacion  y los  servicios. 

En  la  autoevaluacion  de  la  ensenanza,  la  Gufa  determina  los  ambitos  en  los  que  se 
debera  centrar  dicha  evaluacion  y el  tipo  de  datos  a recoger.  Uno  de  dichos  ambitos  es 
el  referente  al  contexto  de  la  universidad  y,  por  consiguiente,  al  contexto  de  la  titula- 
cion. 

En  la  Gufa  observamos  apartados  que  van  desde  el  contexto  de  la  universidad,  la 
evolucion  de  la  titulacion  objeto  de  evaluacion,  las  metas  y objetivos;  el  programa  de 
formacion;  el  desarrollo  de  la  ensenanza,  hasta  los  resultados  de  tal  ensenanza. 

La  investigacion  sobre  la  calidad  en  la  universidad  (Apodaca  y Lobato,  1997),  la 
busqueda  de  indicadores  en  la  universidad  (MEC,  1999)  y los  informes  de  Plan  Nacio- 
nal de  Evaluacion  de  la  calidad  de  las  Universidades  ponen  de  manifiesto  la  necesidad 
de  generar  un  corpus  de  informacion  valida  y fiable  que  ayude  en  cualquier  toma  de 
decisiones.  La  primeras  fases  del  plan  han  permitido  recoger  un  gran  numero  de  datos 
que,  sin  duda,  han  llevado  a conclusiones  importantes.  Sin  embargo,  estos  datos  no 
bastan,  sino  que  hay  que  orientar  el  trabajo  hacia  la  busqueda  de  indicadores,  tarea 
que  parece  haberse  impuesto  el  Consejo  de  Universidades  al  constituir  un  grupo  de 
trabajo  para  la  definicion  de  un  catalogo  de  indicadores. 
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Centrandonos  en  una  de  las  areas  del  Plan  Nacional,  la  evaluacion  de  la  enserianza 
ha  evitado  reducirse  a la  evaluacion  del  profesor.  Por  el  contrario,  el  modelo  asumido 
por  el  MEC  ha  tratado  de  incluir  una  variedad  de  ambitos  sobre  los  que  recoger  datos 
amplios  y diversificados.  Una  de  las  dimensiones  sobre  las  que  se  solicitan  datos  en  la 
Guia,  son  los  referidos  a la  titulacion,  centrandose  fundamentalmente  en  la  oferta  de 
plazas,  la  demanda  de  la  titulacion  y la  matricula  (calificaciones  de  acceso,  nota  corte, 
admision  en  primera  opcion,  calidad  de  acceso,  etc.).  Sin  menospreciar  la  importancia 
de  dichos  datos  de  entrada,  en  este  trabajo  abordamos  otros  componentes  de  entrada 
que  podrian  ayudar  a valorar  cual  es  el  perfil  que  el  alumnado  tiene  al  elegir  una 
determinada  titulacion  y que  peso  tienen  esas  mismas  variables  en  la  explicacion  el 
rendimiento  academico. 

Aunque  el  valor  economico  de  la  «educacion  como  un  bien»  ha  sido  contemplado 
en  la  literatura  economica  desde  los  economistas  clasicos  (Smith,  1776):  las  personas 
con  niveles  mas  altos  en  educacion  ganan  mas  en  promedio.  La  idea  de  que  las 
actividades  que  favorecen  la  productividad  de  los  seres  humanos  ptieden  ser  tratadas 
como  una  forma  de  inversion,  genera  el  concepto  de  capital  humano  que  nace  con  el 
discurso  pronunciado  por  T.W.  Schultz,  ante  la  reunion  anual  de  la  American  Economic 
Association  en  1960. 

Con  la  introduction  de  la  «teoria  del  capital  humano»  la  relation  entre  niveles  de 
escolaridad  e ingresos  futuros  ha  sido  acentuada.  La  principal  aportacion  de  esta 
teoria  es  considerar  la  educacion  como  una  inversion.  La  hipotesis  basica  de  este 
enfoque  es  que  la  educacion  supone,  para  el  individuo  que  la  adquiere,  una  acumula- 
cion  de  capital  humano  que  determina  un  aumento  en  la  productividad  de  aquel  y, 
por  tanto,  un  incremento  en  las  rentas  salariales  futuras  (Schultz;  1960,  1963,  Mincer; 
1958,  1974  y Becker;  1964). 

Estos  beneficios  de  la  educacion,  ingresos  mas  altos  para  personas  con  mayor  stock 
educativo,  pueden  ser  obtenidos  por  un  individuo  si  el  esta  dispuesto  a pagar  los 
costes  directos  y de  oportunidad  de  la  educacion.  En  la  linea  con  la  expansion  de  la 
teoria  del  capital  humano,  muchos  estudios  han  intentado  estimar  tasas  de  retorno 
para  la  educacion  (Psacharopoulos,  1980,  1985). 

Desde  el  punto  de  vista  del  individuo  es  este  aspecto  de  la  inversion  lo  realmente 
relevante,  es  decir,  como  los  ingresos  futuros  se  relacionan  con  la  educacion;  si  embar- 
go, no  es  relevante  para  el  individuo  si  los  mayores  ingresos  vienen  motivados  por  un 
incremento  de  la  productividad  o,  por  el  contrario,  la  educacion  funciona  como  un 
filtro  que  selecciona  personas  con  cualificaciones  especificas  (Arrow,  1973;  Spence, 
1973;  Riley,  1979). 

Sin  embargo,  la  «teoria  del  capital  humano»  ha  sido  criticada  principalmente  por 
contemplar  la  educacion  como  una  inversion  y no  tener  en  cuenta  aspectos  de  utilidad 
o motivos  consumo  de  la  educacion  (Blaug,  1976).  El  motivo  consumo  de  la  educacion 
mide  la  contribution  de  la  educacion  a la  utilidad,  separandola  de  la  dimension 
monetaria.  Campbell  y Siegel  (1967)  estimaron  un  modelo  consumo  de  demanda  de 
educacion  y Michael  (1973)  y Becker  (1964)  incorporan  el  motivo  consumo  de  la 
educacion  en  un  modelo  de  production  domestica.  Heckman  (1976)  incluye  el  motivo 
consumo  de  la  educacion  asumiendo  que  la  educacion  incrementa  la  eficiencia  en  la 
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distribution  del  ocio.  En  estos  modelos  tanto  los  aspectos  monetarios  como  no  mone- 
tarios  determinan,  conjuntamente,  la  cantidad  optima  de  education. 

Ademas  de  los  dos  motivos  inversion  y consumo  para  demandar  education,  hay 
otro  factor  importante  a incorporar  en  un  modelo  de  formation  de  capital  humano; 
nos  referimos  a las  perspectivas  futuras  de  empleo.  En  general,  el  desempleo  esta 
fuertemente  relacionado  con  el  nivel  de  education:  los  individuos  con  niveles  mas 
altos  de  education  tienen  una  probabilidad  menor  de  llegar  a estar  desempleados 
(Becker,  1964;  Ashenfelter  y Ham,  1979;  Nickell,  1979;  Bricall,  2000). 

Sin  embargo,  diversos  estudios  empiricos  han  puesto  de  manifiesto  que  en  la  toma 
de  decisiones  acerca  de  la  cantidad  optima  de  education  que  se  desea  recibir,  no  solo 
influyen  determinantes  economicos  sino  que  tambien  tiene  gran  importancia  el  am- 
biente  familiar  y la  «habilidad  escolar»  de  cada  individuo. 

En  este  contexto  se  situa  nuestra  investigation,  que  trata  de  analizar  las  decisio- 
nes de  inversion  en  Education  Superior  de  los  alumnos  matriculados  en  la  Facul- 
tad  de  Education  de  la  Universidad  de  Murcia,  en  las  siete  posibles  carreras  que 
este  centro  ofrece:  Licenciatura  en  Pedagogfa  (ciclo  largo),  Maestro  en  Education 
Infantil,  Maestro  en  Education  Primaria,  Maestro  en  Lengua  Extranjera,  Maestro 
en  Education  Musical  y Maestro  en  Education  Ffsica  (ciclo  corto).  Posteriormente, 
estudiaremos  cual  es  la  evolution  de  los  alumnos  que  cursan  1°  de  Pedagogfa  y de 
Magisterio,  de  que  dependen  sus  resultados  en  ese  curso  y si  difieren  en  ambas 
titulaciones  (licenciatura  vs  diplomatura).  Y todo  esto  dentro  del  contexto  de  la 
Evaluation  de  la  Calidad  de  la  Universidades,  es  decir  queremos  contribuir  a la 
determination  de  que  otras  variables  pueden  tomarse  en  consideration  para  expli- 
car  la  election  de  una  titulacion  y el  rendimiento  en  la  misma. 

2.  METODOLOGIA 

2.1.  Muestra 

Para  llevar  a cabo  este  trabajo  se  han  utilizado  los  datos  de  los  alumnos  matricula- 
dos, por  primera  vez,  en  primero  de  todas  las  titulaciones  citadas  anteriormente,  en  el 
curso  1994-1995.  De  la  muestra  se  dispone  de  information  sobre  las  siguientes  varia- 
bles: 

1.  Nivel  de  estudios  del  padre  y de  la  madre,  clasificados  en  «Sin  estudios», 
«Estudios  primarios  completos»,  «Bachiller  Elemental  o asimilados»,  «Bachiller 
superior  o asimilados»,  «Diplomatura  Universitaria  o asimilados»  y «Licencia- 
tura,  Ingenierfa,  Arquitectura  o asimilados». 

2.  Situation  socioeconomica  del  alumno,  determinada  a partir  del  trabajo  del  pa- 
dre y de  la  madre.  Puede  tomar  las  categorfas:  «Directores  o gerentes  de  empre- 
sas  de  la  Administration  Publica»,  «Tecnicos  o profesionales  asociados  a titula- 
ciones universitarias  o no,  de  caracter  postsecundario»,  «Empleados  adminis- 
trativos  y trabajadores  de  servicios»,  «Trabajadores  cualificados  en  agricultura 
y pesca»,  «Trabajadores  cualificados  en  la  industria,  construction  y minerfa», 
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«Trabajadores  no  cualificados»,  «Profesionales  de  las  Fuerzas  Armadas»  y «Per- 
sonas  que  no  han  tenido  trabajo  remunerado». 

3.  Opcion  elegida  en  COU:  A,  B,  C o D. 

4.  Genero. 

5.  Nota  en  cada  curso  de  BUP. 

6.  Nota  en  COU. 

7.  Nota  de  cada  una  de  las  asignaturas  cursadas  en  1°  de  carrera,  para  las  convoca- 
torias  de  Junio  y Septiembre. 

Como  podemos  observar,  las  dos  primeras  variables  son  variables  exogenas  al 
individuo  y de  caracter  socioeconomico,  y el  resto  se  refieren  a caracteristicas  persona- 
tes y academicas. 

3.  ANALISIS  DE  LOS  DATOS 

3. 1 . Analisis  descriptivo  de  la  muestra 

En  primer  lugar,  analizaremos  las  caracteristicas  principals  de  los  participates 
que  forman  nuestra  muestra,  distinguiendo  entre  los  alumnos  de  la  Licenciatura  en 
Pedagogia  y los  de  Magisterios,  con  el  fin  de  definir  el  perfil  de  los  estudiantes  de 
ambos  tipos  de  titulaciones. 

Si  nos  fijamos  en  el  nivel  de  estudios  del  padre  y de  la  madre,  reflejados  en  las 
tablas  1 y 2 y en  los  graficos  1 y 2,  destaca  el  hecho  de  que  la  mayor  parte  de  los 
participates  se  agrupan  en  la  categorfa  «2»,  que  corresponde  a «Estudios  Primarios». 
Ademas,  en  la  Licenciatura  en  Pedagogia  es  superior  el  porcentaje  de  alumnos  cuyo 
padre/ madre  tiene  un  mvel  de  estudios  correspondiente  a «Estudios  primarios»  (52,3% 
frente  a 42,7%,  y 61,9  frente  a 48,5%,  respectivamente).  Para  ambas  titulaciones  es  muy 
bajo  el  porcentaje  de  licenciados  entre  los  padres  de  los  estudiantes,  mucho  mas  bajo 
que  el  porcentaje  de  padres  sin  mngun  tipo  de  estudios. 


TABLA  1 

NIVEL  DE  ESTUDIOS  DEL  PADRE 


Frecuencia 

Porcentaje 

Pedagogia 

Magisterio 

Pedagogia 

Magisterio 

1.  Sin  estudios 

38 

44 

15,9 

18,4 

2.  E.  Primarios 

125 

102 

52,3 

42,7 

3.  B.  Elemental 

28 

30 

11,7 

12,6 

4.  B.  Superior 

19 

25 

7,9 

10,5 

5.  Diplomatura 

21 

24 

8,8 

10,0 

6.  Licenciatura 

8 

14 

3,3 

5,9 

Total 

239 

239 

100,0 

100,0 
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TABLA  2 

NIVEL  DE  ESTUD10S  DE  LA  MADRE 


Frecuencia 

Porcentaje 

Pedagogfa 

Magisterio 

Pedagogfa 

Magisterio 

1.  Sin  estudios 

47 

46 

19,7 

19,2 

2.  E.  Primarios 

148 

116 

61,9 

48,5 

3.  B.  Elemental 

22 

33 

9,2 

13,8 

4.  B.  Superior 

9 

15 

3,8 

6,3 

5.  Diplomatura 

11 

23 

4,6 

9,6 

6.  Licenciatura 

2 

6 

0,8 

2,5 

Total 

239 

239 

100,0 

100,0 

En  cuanto  a la  variable  relativa  a la  situation  socioeconomica  familiar  del  alumno, 
reflejada  en  el  trabajo  del  padre  y de  la  madre,  no  hallamos  demasiadas  diferencias 
entre  los  dos  tipos  de  titulaciones:  las  ocupaciones  que  tienen,  para  ambas  carreras,  un 
mayor  peso  dentro  del  trabajo  de  los  padres  son  las  de  «Empleados  administrativos  y 
trabajadores  de  servicios»  (aunque  su  importancia  es  relativamente  mayor  en  Magis- 
terio)  y «Trabajadores  cualificados  y operadores  de  maquinas  en  la  industria,  cons- 


EI3  Magisterio 
I I Pedagogi'a 


Grafico  1 

Nivel  de  estudios  del  padre 
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Grafico  2 

Nivel  de  estudios  de  la  madre 


TABLA  3 

TRABAJO  DEL  PADRE 


Frecuencia 

Porcentaje 

Pedagogia 

Magisterio 

Pedagogia 

Magisterio 

0.  Otros 

1 . Directores  o gerentes  de 

39 

38 

16,4 

15,9 

empresas  de  la  Ad.  Publica. 
2.  Profesionales  asociados 
a titulaciones  de  caracter 

3 

5 

1/3 

2,1 

postsecundario. 

3.  Empleados  administrativos 

27 

36 

11,3 

15,1 

y trabajadores  de  servicios. 
4.  Trabajadores  cualificados 

52 

61 

21,8 

25,5 

en  agricultura  y pesca. 

5.  Trabajadores  cualificados 
en  la  industria,  construction 

13 

4 

5,5 

1/7 

y minerfa. 

43 

49 

18,1 

20,5 

6.  Trabajadores  no  cualificados 

40 

28 

16,8 

11,7 

7.  Prof,  de  las  F.  Armadas. 

8.  Personas  que  no  han  tenido 

15 

13 

6,3 

5,4 

trabajo  remunerado. 

6 

5 

2,5 

2,1 

Total 

238 

239 

100,0 

100,0 
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TABLA  4 

TRABAJO  DE  LA  MADRE 


Frecuencia 

Porcentaje 

Pedagogia 

Magisterio 

Pedagogia 

Magisterio 

0.  Otros 

7 

15 

2,9 

6,3 

1.  Directores  o gerentes 
de  empresas  de  la  A.P. 

2.  Tecnicos  o profesionales 

1 

2 

0,4 

0,8 

asociados  a titulaciones  de 
caracter  postsecundario. 

12 

27 

5,0 

11,3 

3.  Empleados  administrativos 
y trabajadores  de  servicios. 

4.  Trabajadores  cualificados 

19 

11 

7,9 

4,6 

en  agricultura  y pesca. 

5.  Trabajadores  cualificados 

2 

1 

0,8 

0,4 

en  la  industria,  construccion 

y mineria. 

4 

1 

1,7 

0,4 

6.  Trabajad.  no  cualificados. 

23 

6 

9,6 

2,5 

7.  Profes.  de  las  F.  Armadas. 

8.  Personas  que  no  han  tenido 

0 

0 

trabajo  remunerado. 

171 

176 

71,5 

73,6 

Total 

239 

239 

100,0 

100,0 

* No  hay  ninguna  observation  donde  esta  variable  tome  el  valor  7. 


truccion  y minena».  En  la  variable  relativa  a la  situacion  profesional  de  la  madre, 
destaca  el  elevado  peso  del  grupo  8 o «Personas  que  no  han  tenido  trabajo  remunera- 
do»  en  ambos  tipos  de  titulaciones.  Estos  resultados  podemos  comprobarlos  en  las 
tablas  3 y 4,  y en  los  graficos  3 y 4. 

El  comportamiento  de  la  variable  «Opcion  elegida  en  COU»  podemos  verlo  en  la 
tabla  5.  En  ambas  submuestras,  el  grupo  mas  numeroso  es  el  de  alumnos  procedentes 
de  la  opcion  C.  Sin  embargo,  en  Magisterio  son  un  38,5%  del  total,  y en  Pedagogia 
suponen  mas  de  la  mitad  de  los  alumnos.  Respecto  a las  demas  opciones  de  COU, 
Magisterio  tiene  un  mayor  porcentaje  de  alumnos  en  las  opciones  A y D que  Pedago- 
gia 13,9%  vs  6,2%  y 22,5%  vs  14%. 


Modelizacion  estocastica  de  la  election  de  carrera  universitaria  y de  los  resultados  obtenidos  en  primer 


105 


% 


Trabajo  del  padre 


1 --- 1 Magisterio 
I I Pedagogia 


Grafico  4 
Trabajo  de  la  madre 


O 

ERiC 


106 


106 


/.  Gomez  Garda,  F.  Hernandez  Pina,  F.  Buendfa  Moya  y M.  Carmona  Martinez 


TABLA  5 

OPClON  ELEGIDA  EN  COU 


Frecuencia 

Porcentaje 

Pedagogia 

Magisterio 

Pedagogia 

Magisterio 

Opcion  A 

16 

34 

6,2 

13,9 

B 

71 

61 

27,5 

25,0 

C 

135 

94 

52,3 

38,5 

D 

36 

55 

14,0 

22,5 

Total 

258 

244 

100,0 

100,0 

En  cuanto  a la  variable  «Genero»,  Pedagogia  y Magisterio  presentan  un  porcentaje 
mayor  de  mujeres  matriculadas  en  el  primer  curso  de  carrera  que  de  hombres,  aunque 
esta  tendencia  es  mucho  mas  acentuada  en  el  caso  de  la  Licenciatura  en  Pedagogia 
(tabla  6). 


TABLA  6 

g£nero 


Frecuencia 

Porcentaje 

Pedagogia 

Magisterio 

Pedagogia 

Magisterio 

Hombres 

38 

62 

14,7 

25,4 

Mujeres 

220 

182 

85,3 

74,6 

Total 

258 

244 

100,0 

100,0 

Respecto  a las  notas  que  los  alumnos  de  la  muestra  obtuvieron  en  los  cursos  de 
BUP  y de  COU,  destaca  el  hecho  de  que  la  media  de  cada  una  de  las  cuatro  variables 
es  superior  en  el  grupo  de  Magisterio  que  en  el  de  Pedagogia: 

TABLA  7 

MEDIA  DE  LAS  NOTAS  DE  1°,  2°  Y 3°  DE  BUP  Y DE  COU 


Pedagogia 

Magisterio 

Nota  1°  BUP 

6,3653 

7,0334 

Nota  2°  BUP 

6,3387 

6,9751 

Nota  3°  BUP 

6,4017 

6,9719 

Nota  COU 

6,0090 

6,6542 
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Por  ultimo,  consideraremos  la  variable  «Resultados»,  calculada  como  la  media 
ponderada  (por  el  numero  de  creditos)  de  la  calificacion  obtenida  por  cada  estudiante 
en  cada  asignatura  de  primer  curso  (en  Junio  o Septiembre).  Para  su  calculo,  hemos 
considerado  como  «Suspenso»  la  calificacion  de  las  asignaturas  a las  que  el  alumno  no 
se  ha  presentado. 

En  la  tabla  8 podemos  comprobar  que  el  porcentaje  de  alumnos  con  una  nota 
media  en  1°  de  «Aprobado»  y «Notable»  es  mucho  mayor  en  Magisterio  que  en 
Pedagogia: 


TABLA  8 

RESULTADOS  EN  1°  DE  CARRERA 


Frecuencia 

Porcentaje 

Pedagogia 

Magisterio 

Pedagogia 

Magisterio 

(0,1)  «Suspenso» 

107 

37 

41,5 

15,2 

(1,2)  «Aprobado» 

126 

151 

48,8 

62,1 

(2,3)  «Notable» 

20 

54 

7,8 

22,2 

(3,4)  «Sobresaliente 

5 

1 

1,9 

0,4 

Total 

258 

243 

100,0 

100,0 

Para  establecer  si  existe  diferencia  significativa  entre  los  resultados  en  ambas  titu- 
laciones  hemos  efectuado  un  Analisis  de  la  Varianza  (ANOVA).  Los  resultados  han 
sido:  el  estadistico  F (tabla  9)  toma  un  valor  de  64,370  y tiene  asociada  una  probabili- 
dad  acumulada  de  0,000.  Por  lo  tanto,  para  un  nivel  de  significatividad  del  5%, 
rechazamos  la  hipotesis  nula  de  igualdad  de  medias,  y podemos  concluir  que  existen 
diferencias  significativas  entre  las  notas  medias  obtenidas  por  los  alumnos  de  1°  de 
una  u otra  titulacion. 


TABLA  9 

anAlisis  de  la  varianza  para  la  variable  «resultados»  en  funciOn 

DEL  FACTOR  «TITULAC16N» 


Origen  de  la 
variabilidad 

Suma  de 
cuadrados 

Grados 
de  libertad 

Media 

cuadratica 

F 

Prob 

Inter-grupos 

Intra-grupos 

26,775 

207,557 

i 

499 

26,775 

0,416 

64,370 

0,000 

Total 

234,332 

500 

108 


/.  Gomez  Garda,  F.  Hernandez  Pina,  F.  Buendi'a  Moya  y M.  Carmona  Martinez 


Como  conclusion  de  este  primer  apartado,  senalaremos  que  las  principals  diferen- 
cias  halladas  entre  los  estudiantes  de  primer  curso  de  Pedagogia  y de  Magisterio  se 
refieren  al  genero,  a la  opcion  cursada  en  COU  y a sus  calificaciones,  tanto  previas  a su 
acceso  a la  Universidad  como  de  1°  de  carrera. 

Aunque  en  ambas  titulaciones  la  mayoria  de  los  alumnos  matriculados  proceden 
de  familias  en  las  que  el  padre  y/o  la  madre  tienen  estudios  primarios,  el  porcentaje  es 
ligeramente  superior  para  la  Licenciatura  en  Pedagogia;  y para  ambas  titulaciones  es 
muy  bajo  el  porcentaje  de  licenciados  entre  los  padres  de  los  estudiantes.  Asimismo, 
es  muy  elevada  la  proporcion  de  alumnos  cuyas  madres  no  realizan  ningun  trabajo 
remunerado,  en  ambas  carreras. 

La  proporcion  de  mujeres  matriculadas  es  mayor  que  el  de  hombres  en  ambas 
carreras,  asi  como  la  de  alumnos  procedentes  de  la  opcion  C en  COU,  pero  para  ambas 
variables,  las  diferencias  se  acentuan  en  el  caso  de  Pedagogia.  Y por  ultimo,  senalar 
que  las  notas  medias  de  los  alumnos,  tanto  en  los  cursos  de  BUP  como  en  el  COU,  son 
mas  altas  para  Magisterio  que  para  Pedagogia;  y lo  mismo  ocurre  con  los  resultados 
obtenidos  en  1°  de  carrera:  son  mejores  en  los  alumnos  de  Magisterio  que  en  los  de 
Pedagogia. 


3.2.  Modelizacion  estocastica  de  la  eleccion  de  carrera  universitaria 


A continuacion,  trataremos  de  determinar  la  importancia  explicativa  que  las 
caracteristicas  academicas  y los  factores  socioeconomicos  citados  tienen  sobre  la 
eleccion  de  carrera  de  los  alumnos  de  las  titulaciones  analizadas.  Para  ello,  estima- 
remos  un  modelo  logit  binomial  en  el  que  la  variable  dependiente  es  una  variable 
binaria  que  refleja  la  probabilidad  de  que  el  individuo  correspondiente  decida 
cursar  la  Licenciatura  en  Pedagogia  o alguno  de  las  seis  titulaciones  de  Magisterio. 
Asi, 


CARRERA  = 1 si  elige  estudiar  Pedagogia. 

0 si  estudia  Magisterio. 

Las  variables  explicativas  seran  inicialmente  todas  las  descritas  en  el  apartado 
anterior,  aunque  luego  iremos  eliminando  las  que  no  sean  significativas  en  la  regre- 
sion: 


GENERO  = 

NOTA1  = 
NOTA2  = 
NOTA3  = 
NOT AC  = 
OPCION  = 


1 si  es  mujer 
0 si  es  hombre 

nota  media  de  las  calificaciones  obtenidas  en  1°  de  BUP 

nota  media  de  las  calificaciones  obtenidas  en  2°  de  BUP 

nota  media  de  las  calificaciones  obtenidas  en  3°  de  BUP 

nota  media  de  las  calificaciones  obtenidas  en  COU 

opcion  cursada  en  COU,  que  desagregaremos  en  otras  tres  variables 

dummy  para  poder  incluirla  en  nuestro  analisis: 
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OPCA/B  = 


OPCC  = 
EST_P = 


EST_M  = 
TRAB_P  = 


TRAB  M = 


1 si  curso  la  option  A o la  B (consideradas  en  una  sola  categoria  ya 
que  sus  contenidos  son  muy  similares) 

0 en  otro  caso 

1 si  curso  la  opcion  C 
0 en  otro  caso 

nivel  de  estudios  del  padre,  variable  de  caracter  discreto  que  toma 
estos  valores: 

1. -  Sin  estudios. 

2. -  Estudios  primarios. 

3. -  Bachiller  Elemental  o asimilados. 

4. -  Bachiller  Superior  o asimilados. 

5. -  Diplomatura  Universitaria  o asimilados. 

6. -  Licenciatura,  Ingenieria,  Arquitectura  o asimilados. 

nivel  de  estudios  de  la  madre,  variable  de  caracter  discreto  que  toma 
los  mismos  valores  que  la  anterior. 

trabajo  del  padre,  variable  de  caracter  discreto  que  toma  los  siguien- 
tes  valores: 

1. -  Directores  o gerentes  de  empresas  de  la  Administracion  Publica. 

2. -  Tecnicos  o profesionales  asociados  a titulaciones  universitarias  o 
no,  de  caracter  postsecundario. 

3. -  Empleados  administrativos  y trabajadores  de  servicios. 

4. -  Trabajadores  cualificados  en  agricultura  y pesca. 

5. -  Trabajadores  cualificados  en  la  industria,  construccion  y minerfa. 

6. -  Trabajadores  no  cualificados. 

7. -  Profesionales  de  las  Fuerzas  Armadas. 

8. -  Personas  que  no  han  tenido  trabajo  remunerado. 

0.-  Otros 

trabajo  de  la  madre,  variable  de  caracter  discreto  que  toma  los  mis- 
mos valores  que  la  anterior. 


La  expresion  del  modelo  que  vamos  a estimar  es: 


P (CARRERA=1) 


exp 


r -\ 

£Pixi 

1 i ± 

r 


1 + exp 


2fPixi 
v i J 


donde  x.  son  las  variables  explicativas  que  definen  a cada  individuo  y (3.  los  parame- 
tros  correspondientes. 

La  tabla  10  muestra  las  estimaciones  por  maxima  verosimilitud  del  modelo  logit, 
realizada  con  la  totalidad  de  variables  explicativas  definidas: 
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TABLA  10 
MODELO  1 


Variable  explicativa 

Coeficiente 

Standard  Error 

Significatividad 

c 

18,5692 

2,0623 

0,0000 

GfiNERO 

1,0536 

0,2929 

0,0003 

NOTA1 

-0,7206 

0,2483 

0,0037 

NOTA2 

-0,6479 

0,3007 

0,0312 

NOT  A3 

-1,1613 

0,3052 

0,0001 

NOTAC 

-0,4801 

0,2302 

0,0371 

OPCA/B 

1,1213 

0,3529 

0,0015 

OPCC 

0,8902 

0,3215 

0,0056 

EST_P 

-0,0234 

0,1101 

0,8328 

EST_M 

-0,2313 

0,1438 

0,1076 

TRAB_P 

0,0426 

0,0546 

0,4351 

TRAB_M 

-0,0041 

0,0514 

0,9363 

Log  likelihood 

-230,2845 

R2  conteo 

80,08% 

Si  eliminamos,  paso  a paso,  en  el  modelo  estimado,  las  variables  con  nivel  de 
significatividad  superior  o igual  al  5%,  obtenemos  finalmente  los  resultados  que  se 
muestran  en  el  tabla  11. 


TABLA  11 
MODELO  2 


Variable  explicativa 

Coeficiente 

Standard  Error 

Significatividad 

c 

18,6463 

1,9906 

0,0000 

GfiNERO 

1,0655 

0,2920 

0,0003 

NOTA1 

-0,7248 

0,2468 

0,0033 

NOTA2 

-0,6326 

0,2989 

0,0343 

NOT  A3 

-1,1863 

0,3032 

0,0001 

NOTAC 

-0,4615 

0,2296 

0,0444 

OPCA/B 

1,1250 

0,3518 

0,0014 

OPCC 

0,9012 

0,3190 

0,0047 

EST_M 

-0,2536 

0,1053 

0,0161 

Log  likelihood 

-231,0375 

R2  conteo 

79,92% 
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A1  observar  la  matriz  de  correlaciones  de  las  variables  relevantes  en  nuestro  mode- 
lo  2 (tabla  12),  vemos  que  hay  una  alta  presencia  de  multicolinealidad,  sobre  todo  en 
las  variables  relativas  a la  calificacion  obtenida  por  el  alumno  en  los  cursos  de  BUP  y 
COU,  y en  las  opciones  cursadas  en  COU.  Esto  hace  que  la  varianza  de  los  parametros 
estimados  sea  mayor  y,  por  lo  tanto,  las  estimaciones  sean  imprecisas. 

TABLA  12 

MATRIZ  DE  CORRELACIONES 


NOTAl 

NOTA2 

NOTA3 

NOTAC 

OPCA/B 

OPCC 

EST_M 

NOTAl 

1,000 

NOTA2 

0,748** 

1,000 

NOT  A3 

0,618** 

0,705** 

1,000 

NOTAC 

0,487** 

0,554** 

0,603** 

1,000 

OPCA/B 

0,207** 

0,236** 

0,138** 

-0,096* 

1,000 

OPCC 

-0,125** 

-0,193** 

-0,148** 

0,024 

-0,691** 

1,000 

EST_M 

0,107* 

0,057 

0,069 

0,024 

-0,042 

0,070 

1,000 

**  La  correlacion  es  significativa  al  nivel  0,01. 
* La  correlacion  es  significativa  al  nivel  0,05. 


Para  intentar  reducir  este  problema,  vamos  a estimar  otros  tres  modelos  alternati- 
ves donde  no  se  incluyan  las  variables  que  mas  correlacionan  entre  si: 


TABLA  13 
MODELO  3 


Variable  explicativa 

Coeficiente 

Standard  Error 

Significatividad 

c 

10,3221 

1,2168 

0,0000 

GfiNERO 

0,8121 

0,2715 

0,0028 

NOTAl 

-1,5738 

0,1773 

0,0000 

EST_M 

-0,2187 

0,0977 

0,0253 

Log  likelihood 

-267,2465 

R2  conteo 

71,97% 

* En  esta  regresion  ninguna  de  las  variables  relativas  a la  option  cursada  en  COU  aparecen  como  significa- 
tivas  al  5%. 
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TABLA  14 
MODELO  4 


Variable  explicativa 

Coeficiente 

Standard  Error 

Significatividad 

c 

12,6195 

1,4337 

0,0000 

GfiNERO 

0,8911 

0,2773 

0,0013 

NOTA2 

-1,9670 

0,2179 

0,0000 

OPCA/B 

0,5054 

0,2373 

0,0332 

EST_M 

-0,2136 

0,0970 

0,0158 

Log  likelihood 

-259,180 

R2  conteo 

74,27% 

TABLA  15 
MODELO  5 


Variable  explicativa 

Coeficiente 

Standard  Error 

Significatividad 

c 

14,5576 

1,6152 

0,0000 

GfiNERO 

1,1511 

0,2801 

0,0000 

NOT  A3 

-2,2482 

0,2435 

0,0000 

EST_M 

-0,2445 

0,0971 

0,0118 

Log  likelihood 

-254,522 

R2  conteo 

74,48% 

* En  esta  regresion  ninguna  de  las  variables  relativas  a la  opcion  cursada  en  COU  aparecen  como  significa- 
tivas  al  5%. 


TABLA  16 
MODELO  6 


Variable  explicativa 

Coeficiente 

Standard  Error 

Significatividad 

c 

9,9990 

1,6152 

0,0000 

GfiNERO 

0,8592 

0,2698 

0,0014 

NOTAC 

-1,6342 

0,1979 

0,0000 

OPCC 

0,6030 

0,2138 

0,0048 

EST_M 

-0,2883 

0,0967 

0,0029 

Log  likelihood 

-266,366 

R2  conteo 

76,57% 
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Aunque  vemos  que  en  las  estimaciones  de  los  modelos  3 y 5 la  variable  relativa  a la 
opcion  cursada  en  COU  no  es  significativa  al  5%,  en  los  modelos  4 y 6 si  son  todas  las 
variables  significativas.  Teniendo  en  cuenta  estos  resultados,  podemos  concluir  que  en 
la  probabilidad  de  estudiar  una  carrera  de  ciclo  largo  dentro  de  las  correspondientes  a 
Ciencias  de  la  Educacion  (Licenciatura  en  Pedagogia)  no  ejerce  ninguna  influencia  la 
ocupacion  laboral  del  padre  o de  la  madre,  ni  los  estudios  del  padre.  En  cambio,  si 
tienen  influencia  otras  caracteristicas  del  individuo,  como  su  genero,  la  opcion  cursa- 
da en  COU  y las  notas  obtenidas  antes  de  entrar  a la  universidad. 

En  concreto,  el  expediente  academico  del  alumno  (que  entra  en  el  modelo  a traves 
de  las  variables  NOTA1,  NOTA2,  NOTA3  o NOTAC)  ejerce  una  gran  influencia  sobre 
la  eleccion  de  alternativa.  Su  coeficiente  es  en  todos  los  casos  negativo,  lo  cual  indicara 
que,  a mayor  nota  media  obtenida  en  1°  de  BUP,  2°  de  BUP,  3°  de  BUP  o COU,  el 
individuo  elegira  con  menor  probabilidad  cursar  Pedagogia  que  cualquiera  de  los 
titulos  de  Magisterio.  Este  hecho  es  compatible  con  las  conclusiones  extraidas  del 
analisis  descriptivo  de  la  muestra:  la  nota  media  de  los  alumnos  de  primer  curso  es 
superior  en  el  grupo  de  Magisterio  que  en  el  de  Pedagogia. 

En  segundo  lugar,  la  variable  GENERO  es  tambien  altamente  significativa  en  la 
regresion  y tiene  un  coeficiente  positivo,  lo  que  significa  que,  si  el  estudiante  es  una 
mujer,  elegira  la  carrera  de  ciclo  largo  mas  probablemente  que  si  es  hombre.  Esto  se 
corresponde  con  lo  que  observabamos  en  el  analisis  descriptivo  de  la  muestra:  el 
porcentaje  de  mujeres  en  Pedagogia  es  superior  al  de  Magisterio. 

La  variable  relativa  a la  opcion  cursada  en  COU  tambien  influye  en  la  decision 
modelizada,  aunque  de  una  forma  menos  decisiva,  ya  que  en  los  modelos  3 y 5 no  es 
significativa  al  5%.  En  cualquier  caso,  vemos  que  los  alumnos  procedentes  de  la 
opcion  A o B y de  la  opcion  C tienen  mas  probabilidad  de  cursar  Pedagogia  que  los 
que  estudiaron  la  opcion  D. 

Por  ultimo,  hemos  hallado  que  la  variable  EST_M  relativa  al  nivel  de  estudios  de  la 
madre  del  alumno  es  tambien  significativa  en  nuestra  regresion;  y tiene  coeficiente 
negativo,  lo  cual  indicaria  que  a mayor  nivel  de  estudios  de  la  madre  (tal  y como  la 
hemos  codificado),  menos  probabilidad  de  que  el  individuo  decida  estudiar  Pedago- 
gia. Con  el  fin  de  aclarar  mas  este  punto,  hemos  estimado  el  modelo,  pero  incluyendo 
ahora  la  variable  EST_M  no  como  una  variable  categorica  sino  como  seis  variables 
binarias:  ESTM1,  ESTM2,  ...  ESTM6  que  toman  valor  1 si  EST_M  = 1,  2,... 6 respectiva- 
mente,  y 0 en  otro  caso.  Si  eliminamos  las  variables  no  significativas  a un  nivel  minimo 
de  significatividad  del  5%,  obtenemos  el  modelo  7: 
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TABLA  17 
MODELO  7 


Variable  explicativa 

Coeficiente 

Standard  Error 

Significatividad 

c 

11,6159 

1,4168 

0,0000 

GfiNERO 

0,8665 

0,2788 

0,0019 

NOTA2 

-1,9738 

0,2191 

0,0000 

OPCA/B 

0,5110 

0,2382 

0,0320 

ESTM1 

0,7182 

0,3236 

0,0264 

ESTM2 

0,7076 

0,2597 

0,0064 

Log  likelihood 

-258,045 

R2  conteo 

73,85% 

Es  decir,  un  alumno  cuya  madre  no  tiene  estudios  o tiene  un  nivel  de  «Estudios 
Primarios»,  tienen  mayor  probabilidad  de  estudiar  Pedagogia  frente  a las  seis  titula- 
ciones  de  Magisterio  ofertadas. 

3.3.  Modelizacion  de  los  resultados  obtenidos  en  primer  curso 

Una  vez  que  sabemos  de  que  variables  depende  la  eleccion  de  una  carrera  de 
Ciencias  de  la  Educacion  de  ciclo  largo  frente  a las  de  ciclo  corto,  trataremos  de 
analizar  que  factores  influyen  en  los  resultados  academicos  obtenidos  por  los  alumnos 
de  ambas  titulaciones  (Pedagogia  y Magisterios)  en  su  primer  curso  de  carrera.  A 
partir  de  la  muestra  de  que  disponemos,  estimaremos  un  modelo  logit  binomial  para 
cada  titulacion  donde  la  variable  dependiente  sea  una  variable  binaria  que  refleja  si  el 
individuo  correspondiente  ha  tenido  o no  exito  en  el  primer  ano  de  estudios  universi- 
tarios  (definiendo  el  «exito»  como  obtener  una  nota  media,  en  Junio  o Septiembre,  de 
aprobado  o superior.  Asi: 

EXITO  = 1 si  «Resultados»  >1. 

0 si  «Resultados»  < 1. 

Las  variables  explicativas  de  las  que  partimos  son  todas  las  descritas  anteriormen- 
te,  aunque  posteriormente  se  iran  eliminando  aquellas  que  no  resulten  significativas. 

En  la  tabla  18  podemos  observar  las  estimaciones  por  maxima  verosimilitud  del 
modelo  descrito,  efectuada  con  la  totalidad  de  variables  explicativas  definidas: 
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TABLA  18 
MODELO  8 


Pedagogia 

Magisterio 

Variable 

Coeficiente 

Significatividad 

Coeficiente 

Significatividad 

c 

-13,8974 

0,0003 

-5,0275 

0,0715 

GfiNERO 

-0,5004 

0,2741 

-0,2100 

0,6601 

NOTA1 

-0,0217 

0,9506 

-0,398 

0,9226 

NOTA2 

0,0113 

0,9794 

-0,5134 

0,3263 

NOT  A3 

0,7225 

0,0711 

1,3146 

0,0215 

NOTAC 

1,7429 

0,0006 

0,2644 

0,2078 

OPCA/B 

1,1168 

0,0188 

0,0337 

0,9542 

OPCC 

0,2176 

0,6017 

0,2243 

0,6846 

EST  P 

0,0141 

0,9209 

-0,4342 

0,0145 

EST  M 

-0,2429 

0,2211 

0,4159 

0,0648 

TRAB  P 

-0,0182 

0,7841 

-0,0549 

0,5940 

TRAB_M 

0,0094 

0,8970 

0,0736 

0,3546 

Log  likelihood 

139,208 

84,7285 

R2  conteo 

67,23% 

86,97% 

Si  ahora  eliminamos  para  el  modelo  estimado  las  variables  que  no  son  significati- 
vas  a un  nivel  de  significatividad  de  al  menos  el  5%,  obtenemos  finalmente  los  resul- 
tados que  se  muestran  en  la  tabla  19: 


TABLA  19 
MODELO  9 


Variable  explicativa 

Pedagogia 

Coeficiente  Significatividad 

c 

NOTAC 
OPCA/B 
Log  likelihood 
R2  conteo 

-6,1288  0,0050 

1,0281  0,0047 

1,0010  0,0006 

164,8485 
63,95% 

Variable  explicativa 

Magisterio 

Coeficiente  Significatividad 

c 

NOT  A3 
Log  likelihood 
R2  conteo 

-6,1035  0,0085 

1,1454  0,0009 

97,158 
84,77% 
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A partir  de  estos  ultimos  modelos  estimados,  vemos  que  el  genero  y el  nivel  de 
estudios  y trabajo  de  los  padres  son  variables  que  no  ejercen  ninguna  influencia  sobre 
la  probabilidad  de  exito  de  un  alumno  que  inicia  sus  estudios  en  la  Facultad  de 
Ciencias  de  la  Education. 

En  concrete,  para  la  Licenciatura  en  Pedagogia  la  probabilidad  de  exito  de  un 
alumno  de  1°  va  a depender  de  si  ha  cursado  la  opcion  A o B en  COU,  de  la  nota  media 
obtenida  en  dicho  curso  (los  coeficientes  de  las  variables  OPCA/B  y NOT  AC  han 
resultado  ser  positivos).  En  el  caso  de  Magisterio,  solo  es  significativa  la  variable 
NOT  A3,  que  como  tambien  observamos  aparecen  con  un  coeficiente  positivo,  indican- 
do  que  a mayor  nota  media  en  3°  de  BUP,  mayor  probabilidad  de  exito. 

El  hecho  de  que  las  variables  que  reflejan  las  calificaciones  medias  obtenidas  en  los 
demas  cursos  de  Ensenanza  Secundaria  no  aparezcan  como  significativas  no  significa 
que  no  contribuyan  a determinar  la  probabilidad  de  exito  o fracaso,  sino  que  su 
influencia  se  manifiesta  posiblemente  a traves  de  la  variable  presente,  con  la  cual 
existe  una  elevada  y significativa  correlation  (vease  tabla  12). 

4.  CONCLUSIONES 

Los  alumnos  de  Pedagogia  presentan  el  perfil  siguiente: 

El  52,3%  sus  padres  han  cursado  estudios  primarios  y sus  madres  el  61,4%;  el 
21,8%  de  los  padres  estan  empleados  en  trabajos  administrativos  y de  servicios  y el 
71,5%  de  las  madres  no  ha  tenido  trabajo  remunerado;  el  52,3%  ha  cursado  la  opcion  C 
de  COU;  el  85,3%  de  la  muestra  son  mujeres.  En  cuanto  a las  notas  de  BUP  y COU,  la 
media  supera  en  cada  uno  de  los  tres  cursos  6 puntos.  La  nota  de  primero  de  carrera 
se  ha  distribuido  de  la  siguiente  forma:  un  48,8%  de  los  alumnos  han  aprobado  el 
curso,  el  41,5%  lo  han  suspendido  y el  resto  se  distribuye  entre  notable  y sobresaliente. 

El  perfil  de  los  alumnos  de  Magisterio  es  el  siguiente: 

El  42,7%  de  los  padres  y el  48,5%  de  la  madres  solo  han  cursado  estudios  prima- 
rios; el  25,5%  de  los  padres  esta  empleados  en  puestos  de  la  administration  y los 
servicios  y el  73,6%  de  la  madres  nunca  ha  ocupado  un  puesto  de  trabajo  remunerado. 
En  cuanto  a la  opcion  estudiada  en  COU  los  porcentajes  entre  las  cuatro  opciones  se 
encuentra  mucho  mas  equidistribuida  apareciendo  el  porcentaje  mas  alto  tambien  en 
la  opcion  C,  con  un  38,5%.  Tambien  en  Magisterio  el  porcentaje  de  mujeres  que 
estudian  estas  titulaciones  es  mayor  que  el  de  hombres,  con  un  74,6%.  La  nota  media 
en  los  tres  cursos  de  BUP  y COU  se  aproxima  al  7,  siendo  la  mas  alta  la  de  primero  que 
supera  este  valor.  En  cuanto  a los  resultados  en  primero  de  carrera  observamos  que  el 
62,1%  de  los  alumnos  supera  el  aprobado,  frente  al  15,2%  que  no  lo  supera  y el  22,2% 
que  alcanza  una  media  de  notable. 

Cada  una  de  esta  variables  estudiadas  ha  resultado  ser  significativa  entre  un  grupo 
de  alumnos  y otro,  Pedagogia  frente  a Magisterio,  en  el  genero,  la  opcion  cursada  en 
COU  y las  calificaciones  obtenidas  tanto  antes  de  entrar  en  la  universidad  como  en 
primero  de  carrera. 

En  la  modelizacion  econometrica  de  la  eleccion  de  carrera  que  se  ha  realizado 
observamos  que  las  variables  que  mas  peso  tienen  en  la  eleccion  de  la  licenciatura  o la 
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diplomatura  han  sido  el  genero,  la  opcion  cursada  y la  nota  media  obtenida  antes  de 
entrar  en  la  universidad,  resultando  que  a mayor  nota  antes  de  entrar  en  la  universi- 
dad  mas  probablemente  elija  la  titulacion  de  Pedagogia.  El  genero  tambien  tiene  su 
influencia:  ser  mujer  le  llevara  con  mas  probabilidad  a elegir  Pedagogia  que  Magiste- 
rio.  La  opcion  de  COU  tambien  resulta  determinante  en  la  eleccion:  el  haber  cursado  la 
opcion  C influira  mas  en  elegir  .Pedagogia  frente  a Magisterio.  Los  estudios  de  la 
madre  tambien  parecen  haber  influido  en  la  eleccion  entre  ambas  titulaciones  de  tal 
forma  que  a mayor  nivel  de  estudios  de  la  madre  menos  probabilidad  existe  de  que  el 
alumno  elija  la  carrera  de  Pedagogia. 

Un  vez  que  conocemos  que  variables  son  las  que  determinan  con  mayor  fuerza  la 
eleccion  de  titulacion  en  la  Facultad  de  Educacion  hemos  procedido  a analizar  que 
variables  son  las  que  mas  influyen  en  los  resultados  academicos  en  primero  de  carre- 
ra. En  los  alumnos  de  Pedagogia  la  opcion  cursada  en  COU  y la  nota  media  obtenida 
son  las  variables  mas  influyentes;  en  cambio  en  Magisterio  la  influencia  mayor  la  tiene 
la  nota  media  obtenida  en  tercero  de  BUP. 

Aunque  el  trabajo  que  presentamos  se  refiere  exclusivamente  a las  titulaciones  de 
un  solo  centro,  queremos  destacar  la  importancia  que  la  ampliacion  del  tipo  y numero 
de  las  variables  que  se  han  incluido  en  la  Guia  del  Plan  Nacional  de  Evaluacion  de  la 
Calidad  de  las  Universidades  deberia  ir  mas  alia  de  las  establecidas  en  dicho  docu- 
mento.  En  primer  lugar  porque  antes  de  empezar  a evaluar  una  titulacion,  estas  y 
otras  variables  previas  de  los  alumnos  y del  contexto,  ayudarian  a valorar  cual  es  su 
posicion  en  el  contexto  general  de  la  universidad.  Es  decir,  la  evolucion  y resultados 
de  una  titulacion  vendran  condicionados,  nos  guste  o no,  por  las  variables  de  entrada, 
unas  procedentes  del  alumno,  otras  del  contexto,  otras  de  las  exigencias  impuestas 
desde  la  propia  universidad  para  acceder  a la  titulacion,  etc.  Por  consiguiente,  enten- 
demos  que  estas  y otras  variables  deberan  seguir  siendo  analizadas  para  un  mejor 
proceso  en  la  autoevaluacion  de  la  ensenanza. 
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RESUMEN 

Este  trabajo  muestra  las  relaciones  y el  peso  relativo  que  determinadas  variables  anteceden- 
tes  del  autoconcepto  mantienen  sobre  la  autoestima  global  en  alumnos  de  4°  curso  de  E.S.O. 
Tambien  se  analizan  las  relaciones  que  determinadas  variables  psicoldgicas  y pedagogicas 
tienen  sobre  el  rendimiento  escolar  final. 

Ciento  veinte  alumnos  formaron  parte  de  esta  investigacion.  Las  instrumentos  elaborados 
por  S.  Harter  y utilizados  en  esta  investigacion  fueron:  el  « Self-Perception  Profile  for  Adoles- 
cents»  (1988),  que  mide  variables  de  autoconcepto  y autoestima  propias  de  este  nivel  evolutivo; 
el  «Social  Support  Scale  for  Children»  (1985  c);  la  «Scale  of  Intrinsic  Versus  Extrinsic 
Orientation  in  the  Classroom»  (1980);  el  Inventario  de  Habitos  de  Estudio  de  F.F.  Pozar 
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(1983);  una  medida  de  la  inteligencia  (Cattell,  1989),  las  horas  diarias  de  estudio;  y el  rendi- 
miento  en  la  la,  2“  y 3a  evaluacion  en  las  materias  propias  de  este  nivel  educativo. 

Los  andlisis  efectuados  por  medio  del  programa  estadistico  BMDP  muestran  unos  resulta- 
dos  cjue  suelen  coincidir  con  los  propuestos  por  Harter,  y aportan  interesantes  sugerencias  muy 
utiles  para  generar  estrategias  de  investigacion  y de  intervencion  en  este  campo. 

Palabras  clave:  autoconcepto,  autoestima,  dimensiones,  apoyo  social,  hdbitos  de  estudio, 
inteligencia,  rendimiento  academico,  materias  de  la  E.S.O.,  intervencion. 

ABSTRACT 

This  work  shows  the  relationships  and  the  relative  weight  that  given  variables  antecedents 
of  the  self-concept  maintain  on  the  global  self-esteem  in  pupils  of  fourth  course  of  Obligatory 
Secondary  Education.  Also  they  are  analyzed  the  relationships  that  given  pedagogic  and 
psychological  variables  have  on  the  scholastic  achievement. 

A hundred  twenty  pupils  formed  part  of  this  research.  The  instruments  elaborated  by  S. 
Harter  and  used  in  this  work  were:  the  «Self-Perception  Profile  for  Adolescents»  (1988),  that  it 
measures  variables  of  self-concept  and  self-esteem;  the  «Social  Support  Scale  for  Children» 
(1985);  the  «Scale  of  Intrinsic  versus  Extrinsic  Orientation  in  the  Classroom»  (1980);  the 
«Inventory  of  Study  Habits»  ofF.F.  Pozar  (1983);  a measure  of  the  intelligence  (Cattell,  1989); 
the  daily  study  hours,  and  the  achievement  in  the  Y,  2"  and  3a  evaluation  in  the  own  matters 
of  this  educational  level. 

The  analysis  effected  by  the  statistic  program  BMDP  shown  some  results  that  tend  to 
coincide  with  the  proposed  by  Harter,  and  provide  interesting  very  useful  suggestions  to 
generate  investigation  strategies  and  of  intervention  in  this  field. 

Key  words:  self,  self-concept,  self-esteem,  dimensions,  social  support,  study  habits,  intelli- 
gence, matters  ofE.S.O.,  academic  achievement,  education,  intervention. 


I.  INTRODUCCION  CONCEPTUAL 

Introducdon  conceptual  al  modelo  cognitivo-evolutivo  del  Autoconcepto  y la 
Autoestima  de  S.  Harter 

En  los  ultimos  anos  se  esta  produciendo  un  resurgimiento  de  los  estudios  sobre  el 
conocimiento  del  «self»  (si  mismo)  que  aportan  nuevos  datos  que  permiten  progresar 
en  la  construccion  de  modelos  teoricos. 

No  nos  es  posible  detenernos  ahora  en  el  analisis  de  otros  modelos  teoricos  igual- 
mente  importantes  propuestos  en  torno  a los  constructos  autoconcepto  (AC)  y autoes- 
tima (AE),  (Coopersmith,  1967;  Damon  y Hart,  1988;  Lewis  y Brooks-Gunn,  1979b; 
Piers-Harris  1969;  Rosenberg,  1979),  ni  en  la  distincion  entre  dichos  constructos  (Broc, 
1991,  1994;  Garcia,  1983),  como  tampoco  en  los  instrumentos  de  medida  mas  utiliza- 
dos,  sus  propiedades  psicometricas  (Hughes,  1984),  y la  investigacion  generada  en 
este  campo  (Broc,  1998;  Harter  & Broc,  2000). 
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Tampoco  entraremos  en  el  analisis  de  la  extensa  intervention  desarrollada  en  esta 
area,  escasa  en  nuestro  pais,  aunque  con  un  desarrollo  incipiente.  En  este  sentido 
pueden  servir  de  guia  algunas  de  los  trabajos  realizadas  por  Broc  (1995,  1996),  Broc  y 
Garcia  Torres  (1993),  Machargo  (1991),  y mas  relacionado  con  la  motivation  academi- 
ca,  el  trabajo  de  Gonzalez  Torres  (1997). 

Consideramos  que  el  modelo  de  S.  Harter  es  uno  de  los  mas  completos  y 
relevantes  actualmente  en  el  estudio  del  autoconocimiento  y la  autoestima  y que 
puede  servir  de  guia  para  la  generacion  de  estudios  empiricos  en  este  campo.  Las 
razones  por  las  que  nos  adherimos  a este  modelo,  sin  minusvalorar  la  contribution 
de  otros  enfoques,  son  las  siguientes:  a)  Hay  muy  pocos  estudios  realizados  en 
nuestro  pais,  b)  Su  modelo  teorico  es  bastante  comprensivo  e integrador,  incluyen- 
do  supuestos  recogidos  por  otros  investigadores  y modelos  previos,  y adoptando 
una  perspectiva  cognitivo-evolutiva.  c)  Es  operativo,  ya  que  la  aplicacion  de  sus 
escalas  es  relativamente  facil  y rapida.  d)  Utiliza  un  material  atractivo  y de  facil 
aplicacion  que  se  adapta  a la  edad  y nivel  educativo  de  los  sujetos.  e)  Permite  la 
comparacion  de  los  perfiles,  haciendo  posible  la  detection  de  los  sujetos  que, 
teniendo  una  baja  autoestima,  no  puntuan  igual  en  las  dimensiones  del  autocon- 
cepto.  f)  El  numero  de  investigaciones  llevadas  a cabo  por  esta  autora  es  bastante 
extensa  e integra  y recoge  otras  lineas  de  estudio  realizadas  recientemente  en  este 
campo.  g)  Se  ha  llevado  a cabo  recientemente  la  adaptacion  espanola  de  uno  de  los 
instrumentos  de  medida  elaborados  inicialmente  por  Harter,  para  la  poblacion 
adolescente,  obteniendo  unos  indices  de  fiabilidad  y validez  muy  aceptables.  (Harter 
& Broc,  2000,  COSPA,  en  prensa). 

Los  modelos  de  autoconcepto  y autoestima  en  la  literatura  cientifica  se  han  distin- 
guido  por  el  numero  de  dimensiones  a evaluar,  y lo  mas  importante  de  ello  es,  si  el 
«Yo»  se  ha  visto,  como  un  constructo  unidimensional,  o como  autoevaluaciones  que 
son  mas  multidimensionales,  en  su  naturaleza.  Cada  uno  de  estos  modelos  ha  genera- 
do  una  estrategia  de  medida  relacionada  y acorde  a los  supuestos  teoricos  que  pro- 
pugna.  Aunque  se  han  formulado  diversas  aproximaciones  al  estudio  del  autoconcep- 
to y autoestima  (Broc,  1991),  creemos  que  los  modelos  mas  interesantes  en  este  campo 
han  sido  propuestos  por  Coopersmith  (1967),  Piers-Harris  (1969),  Rosenberg  (1979),  y 
el  propuesto  por  Harter  (1986, 1987,  etc.),  modelo  que  ha  servido  de  base  en  la  elabo- 
ration de  este  instrumento. 

La  gran  mayoria  de  los  modelos  propuestos,  ademas  de  no  diferenciar  entre  los 
constructos  autoconcepto  y autoestima  (Garcia  Torres,  1983),  se  inclinaban  por  una 
medida  unidimensional  de  uno  o de  los  dos  constructos.  Esta  naturaleza  unidimensio- 
nal ha  sido  puesta  en  tela  de  juicio  por  recientes  teoricos  que  argumentan  que  tal 
aproximacion  oculta  importantes  dimensiones  evaluativas  que  los  sujetos  hacen  acer- 
ca  de  su  aptitud  en  diferentes  dominios  de  sus  vidas,  ademas  de  la  inadecuacion  del 
instrumento  para  la  utilization  en  los  diversos  periodos  evolutivos.  El  modelo  de 
Susan  Harter  (1985;  1987)  representa  una  integracion  de  las  perspectivas  unidimensio- 
nales  y multidimensionales,  subrayando  la  importancia  de  juicios  globales  de  estima  o 
autovalia,  ademas  de  la  evaluation  de  competencias  percibidas  en  dimensiones  espe- 
cificas.  De  esta  forma  la  AE  global  se  investiga  directa  e independientemente  por  un 
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conjunto  de  items  que  miden  diferentes  juicios  individuates  de  valia  como  persona 
(similar  a la  conceptualization  de  Rosenberg). 

Esta  aproximacion  a la  autoestima  global  es,  por  tanto,  totalmente  diferente  de  los 
procedimientos  de  aquellos  autores  que  han  tenido  que  definir  de  forma  operativa  el 
autoconcepto  general  como  la  suma  o media  aritmetica  de  las  respuestas  del  nino/a  o 
alumno/  a a un  amplio  conjunto  de  items  que  miden  diversas  areas  de  contenido,  (por 
ejemplo,  la  medida  de  la  autoestima  elaborada  por  Coopersmith).  Es  decir,  nosotros 
no  nos  adherimos  al  enfoque  de  que  la  autoestima  global  es  mejor  investigada  suman- 
do  respuestas  dadas  a un  conjunto  de  items  cuyas  preguntas  giran  en  torno  a una 
amplia  variedad  de  auto-descripciones.  Mas  bien,  nosotros  creemos  que  los  propios 
sentimientos  de  autoestima  deben  ser  medidos  directamente,  preguntando  acerca  de 
la  autoestima  en  si  misma  considerada.  Por  lo  tanto,  queremos  que  nuestros  items 
animen  a los  adolescentes  a pensar  acerca  de  la  percepcion  global  de  su  valia  como 
personas.  De  esta  forma,  no  tendremos  que  inferir  la  autoestima  de  la  suma  o media 
aritmetica  de  sus  respuestas  a cuestiones  especificas  relativas  a sus  destrezas  o carac- 
teristicas  determinadas. 

Es  necesario  dejar  claro  que  la  autoestima  global  no  es  una  medida  de  la  compe- 
tence general.  Algunos  otros  investigadores  que  han  empleado  el  instrument  origi- 
nal han  malinterpretado  estas  subescalas,  considerandolas  como  un  indice  mas  am- 
plio de  competencia.  No  obstante,  si  se  investiga  la  autoestima  global  separada  o 
independientemente  de  las  dimensiones  de  competencia  especificas,  se  puede  enton- 
ces  examinar  las  relaciones  entre  la  autoestima  global  y las  competencias  percibidas  en 
las  dimensiones  especificas.  De  hecho,  ha  sido  necesario  determinar  tanto  los  antece- 
dents como  los  correlatos  de  la  autoestima  global  (Harter,  1986,  1987,  1989).  Como 
cita,  esta  autora  ha  encontrado  evidencia  de  los  dos  determinants,  basandose  en  las 
contribuciones  teoricas  de  dos  grandes  teoricos  del  «self»  («yo»)  como  son  James 
(1892)  y Cooley  (1909). 

Para  W.  James,  la  autoestima  global  representaba  la  proporcion  de  exits  persona- 
tes partido  por  sus  pretensiones  o aspiraciones  hacia  el  exit  en  las  diferentes  dimen- 
siones de  su  vida.  Harter  ha  operacionalizado  esta  formulacion  y ha  llegado  a afirmar 
que  la  competencia  o adecuacion  en  dimensiones  consideradas  importantes  para  la 
persona,  es  fuertemente  predictivo  de  la  autovalia  o autoestima.  Un  segundo  predic- 
tor de  la  autoestima,  igualmente  potent,  es  la  vision  positiva  que  los  «otros  significa- 
tivos»  mantienen  hacia  el  «yo».  La  principal  contribucion  de  Cooley  fue  que  el  «yo» 
representa  las  valoraciones  reflejadas  de  los  otros  significativos.  Los  hallazgos  de 
Harter  indican  claramente  que  la  vision  percibida  de  los  «otros»  ejerce  un  impact 
direct  sobre  la  vision  global  que  uno  tiene  de  sf  mismo.  No  obstante,  esta  fuente  de 
autoestima  es  independiente  de  la  anterior,  relativa  a la  competencia  percibida  en 
dimensiones  consideradas  importantes.  Una  discusion  completa  de  los  efectos,  inclu- 
yendo  un  modelo  causal  de  los  determinants  y correlatos  de  la  autoestima,  pueden 
encontrarse  en  Harter  (1986). 

La  version  de  este  instrument  en  muestras  americanas  presenta  unos  indices  de 
fiabilidad  que  oscilan  entre  los  valores  de  .74  y .91  en  diferentes  muestras  utilizadas,  y 
arroja  una  estructura  de  factor  con  ocho  subescalas  separadas  que  miden  dimensiones 
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especificas  y otra  dimension  separada  de  autoestima  global.  Las  subescalas  son  la 
competencia  academica,  aceptacion  social,  competencia  atletica,  apariencia  fisica  ex- 
terna, comportamiento,  competencia  en  el  trabajo,  Amigos  fntimos,  Atraccion  Roman- 
tica  y Autoestima  Global.  Esta  ultima  presenta  correlaciones  que  oscilan  entre  .31  y .73 
con  las  ocho  dimensiones  anteriores.  Existe  una  version  adaptada  a la  poblacion 
espanola  llevada  a cabo  por  Broc  (Harter  & Broc,  2000,  en  prensa).  Los  coeficientes  de 
fiabilidad  oscilan  entre  .71  y .92  en  las  diferentes  muestras,  y tambien  se  encuentra  una 
estructura  de  8 factores  con  altas  correlaciones  dentro  de  cada  uno  de  ellos,  y bajas 
correlaciones  cruzadas. 

La  definicion  de  autoconcepto  que  planteamos  en  este  trabajo  es  la  de  «una  repre- 
sentation interna  y cognitiva  que  el  sujeto  tiene  en  una  serie  de  dimensiones  que  han 
sido  halladas  principalmente  mediante  tecnicas  de  analisis  factorial  y analisis  de  clus- 
ters Por  otra  parte,  en  esta  exposition  adoptaremos  el  termino  autoestima  o autovalia 
indistintamente,  y nos  identificaremos  con  la  definicion  que  del  termino  hace  Harter 
(1983, 1987).  Por  autoestima  global  entendemos  los  «diferentes  valores  que  uno  coloca 
sobre  el  «Yo»  como  persona,  un  juicio  que  puede  ser  contrastado  con  otras  evaluacio- 
nes  o juicios  sobre  la  competencia  de  uno  mismo  en  areas  o dominios  especificos.  La 
autoestima  seria,  por  decirlo  asi,  el  componente  afectivo-evaluativo  del  autoconcepto 
(Garcia  Torres,  1983).  Estos  elementos  indagan  hasta  que  punto  el  individuo  se  gusta 
a si  mismo  como  persona,  es  feliz  con  la  forma  en  que  dirige  su  propia  vida,  etc.  Por 
otra  parte,  subescalas  separadas  miden  evaluaciones  de  areas  o dimensiones  especifi- 
cas  que  proporcionan  un  perfil  multidimensional,  como  puede  verse  en  las  escalas  de 
medida  elaboradas  por  esta  autora  en  las  que  se  incluyen  diferentes  dimensiones  que 
varian  en  diferentes  periodos  evolutivos,  comenzando  en  la  infancia  media  y exten- 
diendose  hasta  la  edad  adulta.  Separando  conceptual  y empiricamente  los  juicios  de 
areas  o campos  especificos  sobre  la  competencia  o aptitud  del  juicio  mas  global  de  la 
valia  individual  como  persona,  Harter  ha  sido  capaz  de  determinar  las  relaciones  que 
las  competencias  especificas  aportan  a la  autoestima  global,  es  decir,  ha  podido  espe- 
cificar  la  forma  por  la  cual  las  dimensiones  son  sopesadas  y combinadas  para  producir 
un  determinado  sentido  de  autoestima  global.  Se  ha  puesto  especial  enfasis  en  que  el 
AC  puede  ser  conceptualizado  a lo  largo  de  un  «continuum»  de  juicios  muy  especifi- 
cos a muy  globales  acerca  del  «Yo»,  y que  estos  no  son  necesariamente  excluyentes. 

La  aproximacion  de  Harter  es  muy  similar  a la  de  Rosenberg.  Harter  aboga  por  un 
sistema  conceptual  en  el  cual  las  dimensiones  de  la  autoevaluacion  son  de  algun  modo 
organizadas  de  forma  jerarquica  y tal  vez,  sopesadas  de  forma  diferencial.  Ademas,  la 
aproximacion  evolutiva  de  Harter  no  implica  que  deba  inferirse  la  AE  global  de 
alguna  combination  de  autoevaluaciones  medibles  en  el  segundo  o tercer  nivel,  aun- 
que  se  haya  hecho  asi  en  muchos  otros  estudios. 

En  un  trabajo  realizado  por  Harter  y Pike  (1984),  se  demostro  que  los  ninos  de  4 a 
7 anos  pueden  hacer  juicios  fiables  acerca  de  los  cuatro  dominios  siguientes:  compe- 
tencia cognitiva,  competencia  fisica,  aceptacion  de  los  companeros  y aceptacion  de  los 
padres.  Respecto  a la  estructura  del  AC  / AE  en  la  infancia  media,  Harter  afirma  que  en 
esta  edad,  no  solamente  emerge  una  mayor  amplitud  de  areas  que  se  van  diferencian- 
do,  sino  la  habilidad  para  hacer  juicios  de  la  valia  de  uno  mismo  como  persona.  Los 
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ninos  en  edades  comprendidas  entre  los  8 y los  12  anos  diferencian  claramente  cinco 
dominios,  que  a su  vez,  estan  contenidos  en  dicha  escala:  competencia  escolar,  compe- 
tencia  atletica,  aceptacion  social  de  los  companeros  y apariencia  fisica,  incluyendose 
una  escala  de  autovalia  global  independiente  de  las  autoevaluaciones. 

Respecto  a la  estructura  del  AC/AE  en  adolescentes  puede  observarse  una  mayor 
articulacion  y diferenciacion.  La  prueba  inicial  utilizada  por  Harter,  «Self-Perception 
Profile  for  Adolescents»  (1988),  que  utilizamos  en  este  trabajo,  incluye  tres  nuevas 
dimensiones:  amigos  intimos,  atraccion  romantica  y competencia  en  el  trabajo,  que 
sumadas  a las  cinco  senaladas  anteriormente  hacen  un  total  de  ocho.  A estas  se  anade 
una  subescala  de  autoestima  global. 

En  la  estructura  del  AC/AE  en  sujetos  de  universidad  todavia  se  observa  una 
mayor  proliferacion  de  dimensiones  tanto  mas  articuladas  como  diferenciadas.  (Nee- 
man  y Harter  (1986),  asf  como  en  la  poblacion  adulta  (Messer  y Harter,  1989). 

La  estructura  de  cada  una  de  estas  subescalas  refleja  diferencias  evolutivas  a lo  largo 
del  ciclo  vital,  que  se  han  conceptualizado  como  intereses  cambiantes  e influencias  del 
contexto  asi  como  diferencias  que  incluyen  tambien  procesos  cognitivo-evolutivos. 

Un  modelo  de  los  determinantes  de  la  autoestima.  La  operacionalizacion  de  la 
teoria  de  W.  james  y Cooley 

Habiendo  conceptualizado  el  AC  como  un  conjunto  de  juicios  sobre  dominios 
especfficos  acerca  de  la  competencia  y adecuacion  en  relacion  a uno  mismo,  ademas 
del  juicio  global  de  la  valia  como  persona,  es  interesante  examinar  las  relaciones  entre 
estos  dos  tipos  de  comentarios  autoevaluativos.  Por  ejemplo,  ^la  autoestima  global 
representa  meramente  una  combinacion  sumativa  de  juicios  de  dominio  especifico,  o 
es  algo  mas  amplio  en  su  conjunto,  o diferente,  de  la  suma  de  sus  partes? 

Mas  que  reinventar  algunos  supuestos  conceptuales,  Harter  vuelve  sobre  dos  gran- 
des  teoricos  clasicos  en  el  AC,  como  son  W.  James  (1892)  y Cooley  (1902),  para  pasar 
posteriormente  a estudiar  como  es  posible  operativizar  todo  lo  posible  dichos  supues- 
tos de  cara  a dar  a la  investigacion  todo  el  caracter  cientffico  y experimental  que  se 
merece. 

Para  probar  el  modelo  de  James  con  ninos  (a  partir  de  8 anos)  era  neCesario 
operacionalizar  tanto  la  competencia  o exito  en  una  determinada  dimension,  como  la 
importancia  concedida  por  el  sujeto  a la  misma,  (el  concepto  de  «pretension»  de  James), 
a lo  largo  de  los  diferentes  dominios  de  la  vida  del  nifio. 

La  competencia  percibida  o exito  lo  ha  definido  sobre  la  base  de  la  competencia 
percibida  o adecuacion  obtenidas  en  los  instrumentos  de  medida  correspondientes  en 
los  distintos  niveles  evolutivos.  El  constructo  de  «pretensiones»  lo  ha  operacionaliza- 
do  como  la  importancia  del  exito  en  cada  uno  de  los  dominios  establecidos  previa- 
mente.  Por  lo  tanto  su  formula  exito  / pretensiones  permite  obtener  juicios  de  compe- 
tencia/adecuacion  y clasificaciones  en  importancia  que  se  pueden  comparar  en  cada 
dominio  respectivamente,  en  un  intento  de  comparar  si  son  las  relaciones  entre  com- 
petencia e importancia  del  exito  las  que  predicen  la  autoestima  o autovalia  global  del 
individuo,  que  es  investigada  por  su  propio  conjunto  de  items.  (Harter,  1985a). 
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En  relation  a obtener  la  proportion  de  que  hablaba  James  entre  exitos  (competencia 
percibida)  y pretensiones  (importancia  del  exito)  se  calculo  una  puntuacion  de  discrepan- 
cia total  (competencia  menos  importancia)  promediada  a traves  de,  justamente  aquellos 
dominios  que  el  sujeto  consideraba  importantes.  (En  la  formulation  de  James,  la  compe- 
tencia alta  o baja,  en  areas  no  consideradas  importantes  no  deberia  influir  en  la  autoes- 
tima global  del  individuo).  Un  bajo  nivel  de  AE  vendria  determinado  por  una  puntua- 
cion en  discrepancia  relativamente  alta,  es  detir,  que  las  puntuaciones  en  importancia 
del  exito  en  ese  dominio  excederian  los  juicios  de  competencia /adecuacion. 

Por  otra  parte,  los  individuos  con  alta  AE  obtendrian  una  puntuacion  proxima  a 
cero,  por  lo  que  las  puntuaciones  obtenidas  en  la  jerarquia  de  competencias  percibidas 
serian  congruentes  con  la  jerarquia  de  los  juicios  concernientes  a la  importancia  del 
exito  en  dichos  dominios. 

En  relation  a la  operationalization  de  la  teoria  de  Cooley,  Harter  define  el  cons- 
truct© de  las  «opiniones  de  los  otros  hacia  el  Yo»  como  el  grado  por  el  cual  el  indivi- 
duo siente  que  los  otros  conocen  su  valia  como  persona.  De  esta  forma  se  puede  medir 
la  perception  positiva  percibida  asi  como  el  apoyo  emotional  que  los  demas  exhiben 
hacia  el  «Yo»  con  el  objeto  de  determinar  si  esto  predice  la  vision  o estima  que  un 
individuo  mantiene  hacia  si  mismo,  correspondiente  a la  definition  de  autoestima.  Se 
han  identificado  cuatro  fuentes  de  apoyo  social:  padres,  profesores,  companeros  de 
clase  y amigos  intimos. 

Estos  items  miden  hasta  que  punto  el  individuo  percibe  o siente  que  estos  «otros 
significativos»  tratan  al  sujeto  como  una  persona  valiosa,  sienten  que  es  importante, 
escuchan  lo  que  el/ella  dice  o hace,  les  gusta  la  forma  en  que  la  persona  se  comporta, 
tienen  cuidado  de  sus  sentimientos,  etc.  (Harter,  1985  c). 

Es  preciso  destacar  que  el  soporte  o apoyo  social  puede  ser,  y ha  sido,  definido  de 
diferentes  formas.  El  intento  particular  de  esta  autora  fue  operacionalizarlo  de  forma 
que  la  vision  de  los  otros  significativos  fuera  analoga  a la  vision  que  uno  mantiene  de 
si  mismo,  es  decir,  hacer  estos  dos  constructos  tan  conceptualmente  paralelos  como 
fuera  posible.  Esto  es,  si  uno  desea  probar  la  hipotesis  de  que  la  autoestima  incluye  la 
incorporation  de  las  actitudes  de  los  otros  significativos  hacia  el  «Yo»,  el  contenido  de 
ambas  medidas  deberia  ser  teoricamente  similar. 

Existe  una  relativamente  amplia  evidencia  empirica  que  apoya  este  modelo  en  los 
distintos  periodos  evolutivos,  y parece  que  un  modelo  sumativo  es  el  que  parece 
detectar  los  efectos  en  los  que  estos  constructos  se  combinan  para  producir  el  nivel  de 
autoestima  individual.  (Harter,  1987,  1988). 

Los  hallazgos  revelan  que  ambos  constructos  («competencia  percibida  en  areas 
importantes»  y apoyo  social  de  los  «otros  significativos»),  son  criticos  en  la  determina- 
tion de  la  autoestima  y que  uno  no  compensa  al  otro,  y no  hay  interaction.  Esto  hace 
que  un  individuo  pueda  sufrir  una  baja  autoestima  si  hay  congruencia  en  la  puntua- 
cion competencia  / importancia  pero  sin  embargo  puntua  bajo  en  las  escalas  de  apoyo 
social,  y a la  inversa,  no  hay  congruencia  eh  la  primera  aunque  goce  de  un  saludable 
apoyo  social.  Por  lo  tanto,  el  sujeto  que  goza  de  una  buena  y alta  AE  es  quien  posee 
una  combination  de  alto  apoyo  social  y baja  puntuacion  en  discrepancia.  El  patron 
opuesto  seria  caracteristico  del  nino  con  mas  baja  autoestima. 


126 


Miguel  Angel  Broc  Cavero 


Los  determinantes  de  la  autoestima  en  la  adolescencia 

De  acuerdo  con  la  nocion  de  James  de  que  la  discrepancia  entre  la  competencia  de 
un  sujeto  en  una  dimension  y la  importancia  que  le  concede  es  un  determinante  de  la 
autoestima,  Harter,  (1985)  operacionalizo  la  discrepancia  como  el  promedio  de  las 
discrepancias  en  los  dominios  de  cada  periodo  evolutivo.  A1  igual  que  se  ha  realizado 
en  esta  investigacion,  Harter  quiso  saber  si  ciertos  dominios  contribuian  mas  que  otros 
como  predictores  de  la  AE,  por  lo  que  examino  las  correlaciones  de  las  puntuaciones 
discrepantes,  calculadas  separadamente  para  cada  dimension,  y la  puntuacion  en  AE, 
y esto  lo  hizo  en  muestras  comprendidas  en  los  distintos  niveles  evolutivos. 

Los  hallazgos  revelan  que  ciertas  areas  contribuyen  sistematicamente  mas  a la 
autoestima  que  otras.  Centrandonos  en  la  etapa  que  estamos  considerando  (16-17 
anos),  Harter  (1988),  hallo  que  las  correlaciones  entre  algunas  de  las  diversas  dimen- 
siones  con  la  autoestima  variaban  significativamente  (r  = .57  apariencia  fisica  externa); 
(r  = .45  aceptacion  de  los  compafieros);  (r  = .36  competencia  escolar);  (r  = .24  compe- 
tencia atletica)  y conducta  (r  = .26),  encontrandose  resultados  similares  en  muestras 
espanolas  (Harter  & Broc,  2000). 

El  impacto  del  mayor  peso  de  la  apariencia  fisica  sobre  la  AE  es  explicado  por  la 
influencia  de  los  medios  de  comunicacion  de  masas  en  los  que  se  exalta  la  imagen 
corporal  y el  atractivo  fisico.  Como  Elkind  (1979)  ha  apuntado  recientemente,  la  im- 
portancia de  la  apariencia  fisica  entre  la  gente  joven  ha  sufrido  un  aumento  creciente 
en  los  ultimos  anos.  Este  punto  sera  tratado  posteriormente  en  esta  investigacion. 

La  correlacion  hallada  entre  la  apriencia  fisica  y la  AE  en  el  mundo  adulto  y en  los 
ninos  superdotados  son  relativamente  altas  (r  = -.65  y r = -.67)  respectivamente.  Esta 
consistencia  evolutiva  ha  hecho  pensar  que  la  apariencia  fisica  puede  representar  la 
manifestacion  de  un  «Yo  exterior »,  mientras  que  la  autoestima  representaria  el  «Yo 
interior»  ambos  definidos  globalmente. 

Desde  una  perspectiva  evolutiva,  la  primacia  del  «Yo  fisico»  ha  sido  igualmente 
documentada  en  aquellos  estudios  que  versan  sobre  el  surgimiento  del  «yo»  en  el 
nino.  (Lewis  y Brooks-Gunn,  1979  b).  Por  otra  parte,  algunos  estudios  (Maccoby  y 
Martin,  1983)  revelan  que  los  «otros  significativos»  reaccionan  al  nino  y al  bebe  sobre 
la  base  de  su  apariencia  fisica  y/o  atractivo  fisico. 

De  esta  forma,  desde  una  edad  muy  temprana  el  «yo  fisico  externo»  podria  ser  una 
dimension  saliente  que  no  necesariamente  estaria  unida  a las  capacidades  individua- 
les,  y que  provoca  reacciones  psicologicas  de  los  demas  que  pueden  ser  perfectamente 
encuadrables  en  el  sentimiento  emergente  del  «Yo  interno»  de  cada  individuo.  Este 
analisis  especulativo  implicaria  que  el  «Yo  extemo»  podria  desarrollarse  previamente, 
y ademas,  influiria  en  el  «Yo  psicologico  interno»  aunque  es  posible  que  la  direccion 
de  las  relaciones  entre  ambos  cambien  con  el  desarrollo.  Es  una  cuestion  que  debe 
investigarse  tanto  evolutiva  como  diferencialmente  el  hecho  de  que  en  ciertos  perio- 
dos  evolutivos  pueda  ser  posible  que  el  impacto  de  uno  sobre  el  otro  difiera  a traves 
de  los  individuos. 

El  analisis  de  la  contribucion  relativa  de  las  fuentes  de  apoyo  social  en  sujetos  de  8 
a 16  anos,  en  el  estudio  de  Harter  (1987,  p.  230),  indica  que  el  patron  es  relativamente 
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similar.  El  apoyo  social  de  los  padres  y de  los  companeros  de  clase  dieron  la  contribu- 
cion  mas  alta  con  respecto  a la  AE  (r  entre  .42  a .45).  A estas  siguieron  las  puntuaciones 
correspondientes  al  apoyo  social  de  los  amigos  intimos  y el  de  los  profesores  («r»  entre 
.30  a .27),  mostrando  que  estas  fuentes  mas  posteriores  tienen  menos  impacto  sobre  la 
AE.  Resultados  en  muestras  espanolas  pueden  consultarse  en  Harter  y Broc,  2000  (en 
prensa). 

En  base  a estos  datos  se  sugiere  que,  aunque  los  companeros  tienen  un  papel  mas 
amplio  en  este  periodo  evolutivo,  los  padres  son  todavia  elementos  criticos  en  su 
impacto  respecto  al  sentimiento  de  valia  de  sus  hijos. 

Por  otra  parte,  el  hecho  de  que  los  companeros  de  clase  sean  una  mayor  fuente  de 
apoyo  social  que  un  amigo  intimo  estriba  en  que  el  reconocimiento  de  los  companeros 
en  un  mayor  numero  de  dimensiones  publicas  o sociales  parece  mas  critico  que  la 
opinion  personal  y unica  de  un  amigo  intimo.  Mas  bien,  se  tiende  hacia  fuentes  mas 
objetivas  de  «feedback»  que  concedan  validez  al  sentido  del  «Yo».  No  obstante,  los 
procesos  subyacentes  a la  influencia  de  los  companeros  de  clase  y los  amigos  intimos 
requiere  de  mayor  investigacion,  ya  que  este  patron  no  se  limita  exclusivamente  al 
periodo  de  la  infancia  y adolescencia,  ni  quizas,  a todas  las  culturas.  Un  patron  similar 
se  observa  cuando  trasladamos  este  analisis  a sujetos  de  universidad  (Harter,  1987). 

De  especial  interes  es  el  hecho  de  que  las  dos  dimensiones  mas  predictivas  de  la  AE 
global  no  reflejan  competencias  per  se,  en  el  sentido  de  destrezas  o habilidades,  a 
pesar  de  que  en  esta  poblacion  la  competencia  es  una  dimension  indudablemente 
cierta.  De  ello  se  deduce,  segun  Harter,  que  el  «Yo  exterior  o social»  del  individuo 
reflejado  por  la  apariencia  fisica  y la  aceptacion  de  uno  mismo  por  los  companeros, 
puede  jugar  un  papel  funcional  mas  importante  que  el  «Yo  social  interno  o privado». 

Relaciones  entre  el  autoconcepto  y el  rendimiento  academic© 

En  lo  que  respecta  a las  relaciones  entre  el  autoconcepto  y el  rendimiento  academi- 
co, Harter  (1983)  tambien  ha  planteado  en  su  modelo  algunos  mecanismos  que  inten- 
tan  explicarlo.  Los  hallazgos  revelan  relaciones  positivas  entre  la  competencia  acade- 
mica  percibida  y el  nivel  de  logro  escolar  conseguido.  Los  alumnos  que  perciben  alta 
su  propia  competencia  escolar  tienen  mas  probabilidad  de  alcanzar  el  exito  academi- 
co, mientras  que  aquellos  cuya  competencia  percibida  es  mas  bien  baja  tienen  mas 
probabilidad  de  ser  peores  estudiantes. 

En  los  ultimos  anos,  ha  habido  un  intento  por  parte  de  los  teoricos,  de  examinar  un 
sistema  mas  amplio  de  relaciones  entre  estos  constructos.  Dentro  del  campo  academi- 
co, por  ejemplo,  los  investigadores  se  han  centrado  principalmente  en  las  reacciones 
afectivas  o emocionales  que  los  alumnos  tienen  en  respuesta  a su  propia  actuacion 
escolar  o academica,  asi  como  tambien  en  la  motivation  de  los  mismos  para  el  aprendi- 
zaje  escolar.  Los  estudios  realizados  sugieren  un  sistema  de  «reacciones  en  cadena»  en 
forma  de  espiral  que  se  retroalimenta  positiva  o negativamente.  (Harter,  1988  a). 

Recientemente  han  surgido  una  serie  de  modelos  teoricos  que  intentan  explicar  las 
relaciones  entre  autoconcepto  academico  y rendimiento  escolar  y que  incluyen  com- 
ponentes  cognitivos  — expectativas,  creencias,  metas  y valores — como  elementos  cla- 
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ves  para  explicar  el  proceso  motivacional.  (McCombs,  1992;  Weiner,  1990).  La  Teona 
Atribucional  de  la  Motivacion  de  Weiner  (1985)  postula  que  la  necesidad  de  rendi- 
miento  esta  mediada  por  las  atribuciones  las  cuales  influyen  en  las  expectativas  de 
exito,  en  las  percepciones  de  control  y competencia,  en  las  reacciones  afectivas  y en  la 
conducta  motivacional.  Otros  autores  como  Dweck  (1986)  y Nicholls  (1984a)  se  cen- 
tran  en  el  papel  de  las  metas  y postulan  que  la  motivacion  puede  ser  adaptativa  o 
desadaptativa  segun  las  orientaciones  de  meta  de  los  estudiantes.  Por  otra  parte, 
Bandura  (1977)  subraya  el  papel  de  las  percepciones  de  autoeficacia  y su  influencia  en 
el  nivel  de  motivacion.  Covington  (1984),  en  su  teoria  de  la  Autovalia  afirma  que  las 
bajas  percepciones  de  competencia  inducen  a los  estudiantes  a orientar  su  conducta 
mas  hacia  la  defensa  del  yo  que  hacia  un  adecuado  aprendizaje.  Finalmente,  Pintrich 
y De  Groot  (1990  a)  senalan  que  las  principales  teorias  actuates  de  la  motivacion 
academica  se  articulan  en  torno  a componentes  de  expectativas,  componentes  de  valor 
y componentes  afectivos. 

Todas  estas  lineas  apuntan  hacia  la  preponderance  de  los  factores  de  metacogniti- 
vos  de  autorregulacion  en  el  aprendizaje,  junto  a la  integracion  de  aspectos  motivacio- 
nales  que  guian  y orientan  la  conducta  academica.  No  es  el  objetivo  de  este  trabajo 
analizarlos  en  este  lugar  aunque  existen  publicaciones  muy  interesantes  que  el  lector 
puede  encontrar,  entre  otros,  en  Connell,  (1990),  Csikszentmihalya  (1990),  Deci  y Ryan 
(1992),  DeCharms  (1994),  Eccles  & Midgley,  (1989);  Paris  y Turner  (1994),  Schunk 
(1994),  Urdan  & Maher  (1995),  Zimmerman  (1994),  y en  nuestro  pais  Alonso  Tapia 
(1992a,  1992b,  1995),  Gonzalez  Torres  y Touron,  (1992),  Nunez  y Gonzalez  (1994). 

II.  OBJETIVOS  DE  LA  INVESTIGACION 

Despues  de  esta  introduccion  estamos  en  condiciones  de  plantearnos  las  siguien- 
tes  cuestiones:  ^Cual  es  el  peso  relativo  que  las  diferentes  dimensiones  del  autocon- 
cepto  tienen  sobre  la  autoestima  global  del  alumno  al  final  de  la  E.S.O.?,  ^se  observa 
un  patron  similar  o diferente  al  encontrado  por  Harter  en  la  poblacion  americana?, 
^que  influencia  tiene  el  apoyo  social  y la  discrepancia  sobre  la  autoestima?,  ^cuales 
son  los  mejores  predictores  de  la  autoestima  a los  16-17  anos,  de  cara  a poder 
intervenir  a tiempo  sobre  los  mismos?,  ^cuales  son  las  variables  que  mejor  predicen 
el  rendimiento  academico  en  esta  etapa  evolutiva?,  ^Tienen  relacion  las  variables  de 
AC  y AE  sobre  el  rendimiento,  o son  unicamente  variables  pedagogicas  las  que 
tienen  mas  peso?,  ^hacia  donde  podria  dirigirse  la  investigacion  y la  intervencion  en 
este  campo? 

Esta  investigacion  se  dirigio  hacia  los  siguientes  objetivos:  a)  conocer  el  peso  relati- 
vo que  determinadas  dimensiones  antecedentes  del  autoconcepto  tienen  sobre  la  au- 
toestima global  del  alumno  de  final  de  la  ESO,  es  decir,  vislumbrar  que  variables 
predicen  mejor  una  alta  o baja  autoestima  en  esta  edad.  b)  Comprobar  si  los  resultados 
obtenidos  son  consistentes  con  el  modelo  teorico  propuesto  por  Harter,  y si  dichos 
datos  confirman  o refutan  la  teoria.  c)  Examinar  las  relaciones  entre  variables  de 
autoconcepto  y variables  academicas  sobre  el  rendimiento  final  del  alumno,  es  decir, 
buscar  las  variables  independientes  que  mejor  predicen  el  rendimiento  final  del  alum- 
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no  en  el  ultimo  curso  de  la  ESO.  d)  En  base  a los  resultados  obtenidos  plantear 
estrategias  de  intervention  y de  investigacion  en  este  campo. 

III.  DISENO  Y METODO 

Sujetos 

Ciento  veinte  alumnos/as  de  4°  de  la  E.S.O.  (16-17  anos)  tomaron  parte  en  esta 
investigacion,  a razon  de  4 grupos  de  30  escolares  cada  uno. 

Instrumentos  y materiales 

Se  utilizaron  los  siguientes  instrumentos  de  medida: 

« Self-Perception  Profile  for  Adolescents»  (Harter,  1988),  que  mide  la  competencia 
percibida  escolar,  aceptacion  social  de  los  companeros,  competencia  atletica,  aparien- 
cia  fisica  externa,  competencia  en  el  trabajo,  atraccion  romantica,  comportamiento 
adecuado  o conducta,  amigos  intimos,  la  autoestima  global,  y una  puntuacion  en 
discrepancia  (media  de  las  competencias  percibidas  menos  la  importancia  concedida  a 
las  mismas).  La  fiabilidad  del  instrumento  oscila  entre  .74  y .91. 

«Social  Support  Scale  for  Children»  (Harter,  1985  c),  que  mide  el  apoyo  afectivo-social 
proveniente  de  los  padres,  los  companeros  de  clase,  los  profesores  y los  amigos  inti- 
mos,  siendo  el  apoyo  total  la  media  de  los  apoyos  de  las  cuatro  tuentes.  La  fiabilidad 
del  instrumento  oscila  entre  .72  y .88,  en  las  diferentes  muestras. 

«A  Scale  of  Intrinsic  Versus  Extrinsic  Orientation  in  the  Classroom»  (Harter,  1980),  que 
mide  la  aproximacion  a un  polo  intrinseco  vs.  extrinseco  segun  los  siguientes  criterios: 
a)  preferencia  por  el  desafio  y el  trabajo  serio  en  la  clase  versus  la  preferencia  por  el 
trabajo  facil  guiado  unicamente  por  el  profesor.  b)  Curiosidad  e interes  del  alumno 
que  intenta  satisfacer  sus  propios  deseos  y necesidades  versus  el  trabajo  del  mismo 
que  es  solamente  dirigido  a satisfacer  al  profesor  y obtener  la  aprobacion  minima  del 
mismo.  c)  Independencia  del  alumno  respecto  al  profesor  en  cuestiones  academicas 
relevantes  que  implican  participation  activa  versus  dependencia  del  profesor  quien 
dirige  y guia  el  trabajo  del  alumno.  d)  Juicio  independiente  del  alumno  capaz  de  hacer 
ciertos  juicios  sobre  lo  que  esta  haciendo  versus  conexion  con  el  juicio  del  profesor  de 
cuya  opinion  y juicio  depende  la  actuation  del  alumno.  e)  Criterio  Interno  del  alumno 
que  implica  que  este  conoce  bien  cuando  tiene  exito  o fracasa  en  las  actividades 
escolares  relevantes  versus  Criterio  Externo  que  implica  dependencia  del  alumno  de 
fuentes  de  evaluation  y de  reforzamiento  provenientes  del  profesor  en  aspectos  de 
ejecuciones  correctas,  examenes  y feedback  sobre  las  actividades  planteadas  en  la 
clase.  La  fiabilidad  de  las  distintas  subescalas  (Kuder-Richardson  Formula  20)  oscila 
entre  0.68  y .84.  La  validez  factorial  arroja  indices  entre  .46  y .53,  con  insignificantes 
cargas  cruzadas  entre  los  factores. 
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«Test  de  Factor  «g»  de  Cattelh.  TEA  S.A.  (1989),  test  colectivo  que  mide  la  inteligen- 
cia  general  en  sus  aspectos  mas  generales  y cristalizados. 

«Inventario  de  hdbitos  de  Estudio»  de  F.F.  Pozar.  TEA  Ediciones  S.A.  (1983),  que  mide 
aspectos  supuestamente  relacionados  con  la  eficacia  en  el  estudio:  Ambiente,  Planifi- 
cacion,  Materiales,  y Asimilacion. 

«Niimero  medio  de  horas  de  estudio  diarias » operativizada  median te  una  cifra  que 
admitia  la  entrada  de  hasta  dos  decimales. 

«Calificacidn  obtenida  en  las  materias  academicas»  propias  de  4°  curso  de  la  ESO, 
operativizadas  mediante  un  numero  entero  de  0 a 10.  Las  materias  evaluadas  fueron 
las  siguientes:  Ciencias  Sociales,  fitica,  Education  Fisica,  Lengua  y Literatura,  Lengua 
Extranjera,  Matematicas,  Biologia,  Fisica  y Quimica,  y Media  de  materias  optativas. 

«Rendimiento  academico»  obtenido  en  la  primera,  segunda  y tercera  evaluacion, 
siendo  esta  ultima  la  variable  dependiente  para  nosotros  mas  relevante,  denominada 
rendimiento  escolar  final.  La  operativizacion  de  las  mismas  se  hizo  de  la  siguiente 
forma:  Suma  de  las  puntuaciones  obtenidas  en  todas  las  materias  dando  un  peso  de  1 
punto  a Insuficiente,  5 puntos  a Aprobado,  6 puntos  a Bien,  7 a Notable  y 9 a Sobresa- 
liente. 


El  numero  total  de  variables  que  se  contabilizan  segun  la  description  anterior  es  de 
treinta  y nueve  que  sumadas  a la  variable  Sexo,  hacen  un  total  de  cuarenta.  Las 
variables  dependientes  principals  fueron  dos:  la  autoestima  global  (AEG),  y el  rendi- 
miento final  en  la  tercera  evaluacion  (RENFINAL).  Todas  las  demas  variables  se 
seleccionaron  en  la  mayoria  de  los  analisis  como  variables  independientes. 

Procedimiento 

Durante  el  curso  academico  97-98  se  obtuvieron  todos  los  datos  relativos  a las 
variables  independientes  y dependientes.  La  recogida  de  datos  fue  siempre  de  forma 
colectiva  pero  separadamente  en  cada  una  de  las  clases,  a pesar  de  que  los  sujetos 
seleccionados  de  todas  ellas  se  han  considerado  como  un  unico  grupo. 

IV.  ANALISIS  DE  DATOS  Y DISCUSION 

Tecnicas  de  analisis  de  datos 

Las  tecnicas  de  analisis  de  datos  utilizadas  en  esta  investigation  han  sido  correla- 
cionales  y basadas  en  el  BMDP.  (BMDP2D,  2R,  6R  y 9R).  (Dixon  y Jennrich,  1990). 


Variables 
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Analisis  de  datos  y discusion 


Comenzaremos  con  las  correlaciones  entre  las  variables  independientes  y la  varia- 
ble dependiente  autoestima  global  (AEG).  (BMDP2R  y 6R).  (Tabla  1). 

TABLA  1 

ANALISIS  DE  REGRESlON  " STEPWISE " DE  LAS  PRINCIPALES  VARIABLES  CON 
LA  VARIABLE  DEPENDIENTE  AUTOESTIMA  GLOBAL  EN  4°  DE  ESO 


R Multiple 0.7528 

R Multiple  al  cuadrado 0.5668 

R Ajustada  al  cuadrado 0.5435 

Error  std.  de  est 0.4535 


ANALISIS  DE  VARIANZA 


Suma  de 
Cuadrados 

Grados  de 
libertad 

Media 

Cuadratica 

F Ratio 

REGRESldN 

15.069750 

3 

5.023249 

24.42 

RESIDUAL 

11.519590 

116 

0.2057070 

TABLA  RESUMEN 

- 

Entrada 

Multiple 

Cambio 

F de 

Paso  N° 

de  variable 

R 

RSQ 

en  RSQ 

Entrada 

i 

APARIENCIA 

EXTERNA 

0.6721 

0.4517 

0.4517 

47.79 

2 

APOYO 

TOTAL 

0.7268 

0.5282 

0.0765 

9.24 

3 

DISCREPANCIA  0.7528 

0.5668 

0.0385 

4.98 

Del  analisis  de  esta  tabla  se  deduce  que  las  variables  con  mayor  peso  para  predecir 
la  variable  dependiente  Autoestima  Global  son  la  Apariencia  fisica  Externa  en  primer 
lugar,  seguida  del  apoyo  total  de  padres,  companeros,  profesores  y amigos  intimos,  y 
finalmente,  la  discrepancia  media  en  las  dimensiones  que  el  adolescente  se  percibe 
competente  en  funcion  de  la  importancia  concedida  a las  mismas. 

Es  interesante  comentar  la  importancia  que  en  esta  edad  adquiere  la  apariencia  y 
el  atractivo  fisico  de  los  adolescentes,  debido  a la  presencia  de  factores  hormonales  y 
de  crecimiento  fisico  que  influyen  en  las  relaciones  interpersonales  entre  los  sexos.  Es 
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sorprendente  la  coincidencia  encontrada  con  los  hallazgos  de  Harter  (1988  a)  y otros, 
quienes  han  encontrado  que  la  apariencia  fisica  percibida  encabeza  repetidamente  la 
lista  como  la  dimension  mas  altamente  correlacionada  con  la  autoestima  (r  entre  .65  y 
.82)  desde  la  infancia  hasta  la  edad  adulta,  sin  constatarse  diferencias  de  genero  en 
dichas  correlaciones.  Otros  autores  que  han  examinado  estas  relaciones  en  ninos  y 
adolescentes  han  encontrado  resultados  similares  (Padin,  Lerner  & Spiro,  1981;  Pome- 
rantz,  1979).  Ademas,  esta  correlacion  se  mantiene  igualmente  alta  en  poblaciones  de 
alumnos  superdotados  y con  dificultades  de  aprendizaje.  (Harter,  1993). 

Existen  numerosos  trabajos  empiricos  relativos  al  autoconcepto  y autoestima  adul- 
ta que  revelan  que  la  apariencia  fisica  percibida  y la  autoestima  estan  estrechamente 
unidas  (Davies  & Furnham,  1986;  Feingold,  1992;  Longo  y Ashmore,  1995;  Silverstein, 
Striegel-Moore,  Timko  & Rodin,  1988).  No  obstante,  se  ha  encontrado  que  las  auto- 
evaluaciones  estan  mas  altamente  relacionadas  con  el  «atractivo  percibido»  que  con  el 
atrativo  fisico  actual,  mas  «objetivo».  (Feingold,  1992). 

Este  aspecto,  evidentemente,  tambien  puede  estar  en  la  base  de  algunos  trastornos 
psicopatologicos  relacionados  como  la  anorexia  y labulimia  nerviosa,  la  depresion, 
ansiedad  y suicidio  en  la  adolescencia,  etc.  (Harter  y Marold,  1991),  aspectos  que 
tienen  especiales  implicaciones  en  el  rendimiento  academico  de  los  adolescentes  y,  en 
consecuencia,  en  la  orientacion  y la  inter vencion  psicopedagogica. 

La  literatura  tambien  arroja  datos  que  apuntan  al  hecho  de  que  las  mujeres  suelen 
estar  generalmente  mas  insatisfechas  con  su  apariencia  fisica  que  los  hombres  (Ada- 
ms, 1982;  Davies  & Furhnam,  1986;  Mintz  & Betz,  1988).  Esta  insatisfaccion  comienza 
en  la  infancia  media  (Maloney,  Me  Guire,  & Daniels,  1988;  Mellin,  1988)  declinando 
progresivamente  y siendo  la  diferencia  maxima  aproximadamente  al  final  de  la  educa- 
tion secundaria  obligatoria  (Allgood-Merten,  Lewinsohn  & Hops,  1990;  Nolen-Hoek- 
sema,  1987).  No  obstante,  es  necesario  matizar  que  la  autoestima  es  particularmente 
baja  en  aquellas  mujeres  que  son  conscientes  de  estar  basando  su  propia  autoestima 
sobre  el  atractivo  fisico  (Harter,  1993).  Culturalmente,  los  mensajes  acerca  del  atractivo 
y apariencia  fisica  comienzan  a edades  tempranas  (Maccoby  & Martin,  1983). 

Este  hecho  debe  hacernos  reflexionar  sobre  el  enfasis  excesivo  que  la  sociedad 
actual  y los  medios  de  comunicacion  ejercen  sobre  el  atractivo  fisico  en  cada  periodo 
evolutivo.  (Andersen,  1992;  Elkind,  1979,  Kilbourne,  1994).  El  cine,  la  television,  las 
revistas,  el  video,  etc.,  enfatizan  la  importancia  del  culto  al  cuerpo  enalteciendo  el 
papel  popular  de  modelos  a quienes  hombres  y mujeres  deberian  emular.  No  obstan- 
te, estos  estandares  son  especialmente  nocivos  para  las  mujeres  (Jackson,  1992;  Wise- 
man, Gray,  Mosimann  & Ahrens,  1992),  haciendo  dificil  vivir  de  acuerdo  a estos 
ideales. 

Este  aspecto,  evidentemente,  tambien  puede  estar  en  la  base  de  algunos  trastornos 
psicopatologicos  relacionados  como  la  anorexia,  bulimia,  depresion,  ansiedad  y suici- 
dio en  la  adolescencia,  etc.,  (Harter  y Marold,  1991a),  aspectos  que  tienen  especiales 
implicaciones  para  la  intervention. 

Las  correlaciones  parciales  halladas  entre  la  autoestima  global  con  las  demas  varia- 
bles mas  relevantes  se  presentan  a continuation:  Apariencia  fisica  externa  (r=.67); 
Discrepancia  (r=.58);  apoyo  de  companeros  (r=.45);  apoyo  de  amigos  intimos  (r=.40); 
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atraccion  romantica  y competencia  atletica  (r=.3 7);  apoyo  de  padres  y competencia 
escolar  (r=.35);  rendimiento  en  la  la  evaluacion  (r=-.022);  rendimiento  en  la  2a  evalua- 
tion (r=.009)  y rendimiento  a final  de  curso  (r=.147). 

De  los  datos  anteriores  puede  concluirse  que  la  apariencia  ffsica  externa,  la  discre- 
pancia  y el  apoyo  total  por  companeros,  padres  y amigos,  asf  como  el  apoyo  de 
companeros /as  con  quienes  se  tiene  una  relacion  mas  fntima  y afectivo-sexual  pare- 
cen  contribuir  en  mayor  medida  sobre  la  autoestima  de  los  adolescentes.  Estos  resulta- 
dos  estan  en  consonancia  con  los  estudios  realizados  por  Harter  en  la  poblacion 
americana.  Se  han  incluido  las  bajas  correlaciones  encontradas  con  el  rendimiento 
escolar  en  las  tres  evaluaciones  del  curso  para  llamar  la  atencion  sobre  este  hecho,  que 
parece  coincidir  con  la  observacion  y los  datos  aportados  por  las  entrevistas  manteni- 
das  con  padres  y alumnos  de  ensenanza  secundaria  obligatoria.  Con  estos  datos  se 
pretende  constatar,  todavfa  en  un  piano  especulativo,  que  el  alto  o bajo  rendimiento 
escolar  en  la  poblacion  actual  de  estudiantes  de  secundaria,  podria  contribuir  poco  al 
desarrollo  de  un  adecuado  sentimiento  de  autoestima  y que  los  adolescentes,  parecen 
abastecerse,  por  decirlo  asi,  de  fuentes  independientes  del  aprovechamiento  escolar,  o 
al  menos,  no  totalmente  coincidentes.  Se  podria  llegar  a afirmar  que  muchos  alumnos 
con  bajo  rendimiento  escolar  pueden  llegar  a desarrollar  altos  niveles  de  autoestima  si 
desarrollan  adecuadamente  las  dimensiones  comentadas  mas  arriba  o,  por  el  contra- 
rio,  mantener  una  baja  autoestima  a pesar  de  conseguir  un  alto  rendimiento  academi- 
co. La  alta  autoestima  global  y el  alto  rendimiento  academico  podrian  tener  dimensio- 
nes causales  distintas  y desarrollarse  por  caminos  no  totalmente  convergentes.  No 
obstante,  este  aspecto  deberfa  investigarse  con  mas  profundidad  en  subgrupos  en  los 
que  la  dimension  «competencia  escolar»  es  especialmente  alta  o baja,  teniendo  en 
cuenta  que  se  observan  puntuaciones  en  importancia  igualmente  altas  o bajas,  lo  que 
puede  servir  de  entrada  a otras  facetas  o dimensiones  «mas  significativas»  y a las  que 
conceden  mayor  importancia. 

Pero  vayamos  ahora  a analizar  la  influencia  relativa  que  sobre  el  rendimiento  en  la 
evaluacion  final  tienen  las  variables  independientes  seleccionadas.  (Tabla  2). 

Esta  tabla  revela  que  variables,  hasta  cierto  punto  inesperadas,  entran  como  predic- 
toras,  como  son  la  inteligencia  y las  horas  medias  diarias  dedicadas  al  estudio,  asf 
como  algunas  materias  academicas  troncales,  que  en  lfneas  generates,  constituyen  la 
parte  basica  del  curriculum  de  este  curso. 

La  variable  inteligencia  ha  sido  puesta  de  manifesto  en  publicaciones  de  psicolo- 
gfa  o pedagogfa  diferencial  como  variable  predictora  a tener  en  cuenta  en  relacion  al 
rendimiento  escolar,  como  por  ejemplo  los  trabajos  de  Eysenck  y Kamin  (1983),  o 
Jimenez  Fernandez  (1997),  entre  otros. 

En  relacion  a las  horas  de  estudio  (como  segunda  variable  predictora),  cabria  decir 
que  el  tiempo  dedicado  al  mismo,  (no  superior  a una  media  de  2 horas  diarias)  puede 
ser  una  variable  actualmente  relevante  en  el  rendimiento  escolar,  y esto  nos  llevaria  a 
reactualizar  el  modelo  de  Carroll  (1963),  el  cual  esta  siendo  redescubierto  reciente- 
mente  por  el  significado  e impacto  de  la  variable  tiempo  en  el  proceso  educativo  y en 
sus  resultados.  Este  hecho  podria  estar  indicando  una  insuficiente  inversion  de  tiempo 
de  estudio  por  parte  de  algunos  alumnos. 
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TABLA  2 

El  «MEJOR»  SUBCONJUNTO  DE  REGRESlON  DE  VARIABLES  INDEPENDIENTES 
SOBRE  EL  RENDIMIENTO  ACADZMICO  FINAL  EN  4°  DE  ESO.  (BMDP9R) 

ESTADISTICOS  PARA  EL  "MEJOR"  SUBCONJUNTO  DE  REGRESlON  DE 
VARIABLES  INDEPENDIENTES  SOBRE  RENDIMIENTO  FINAL 

Coef.  de  Mallows 1.64 

Correlacion  multiple  al  cuadrado 0.96325 

Correlacion  multiple 0.98145 

Corr.  multip.  al  cuadrado  ajustada 0.95575 

Media  cuadratica  residual 6.767583 

Error  estandar  de  estimacion 2.601458 

Estadistico  F 28.43 

Grados  de  libertad  del  numerador 10 

Grados  de  libertad  del  denominador 49 

Nivel  de  signification 0.0000 


VAR. 

COEFI. 

REGRES 

ERROR 

STD. 

COEFI. 

STD. 

ESTAD. 

T 

NSIG. 

2-TAIL 

TOLER. 

CONTRIB. 
A RSQ. 

Intercept 

-7.66082 

2.15081 

-0.619 

-3.56 

0.001 

Inteligencia 

0.03881 

0.01521 

0.078 

2.55 

0.014 

0.8079 

0.00488 

Horas  est. 

0.36608 

0.19314 

0.061 

1.90 

0.064 

0.7232 

0.00269 

Ambiente 

0.58557 

0.22845 

0.088 

2.56 

0.013 

0.6388 

0.00493 

CSociales 

0.85921 

0.32381 

0.117 

2.65 

0.011 

0.3889 

0.00528 

Lengua  y L. 

1.56228 

0.35907 

0.187 

4.35 

0.000 

0.4077 

0.01420 

Matemat. 

2.06921 

0.35468 

0.244 

5.83 

0.000 

0.4271 

0.02553 

FQuimica 

2.18923 

0.34979 

0.259 

6.26 

0.000 

0.4383 

0.02938 

Moptativ. 

1.38392 

0.33843 

0.147 

4.09 

0.000 

0.5808 

0.01254 

La  tercera  variable  (ambiente  de  estudio)  puede  introducirnos  en  un  campo  toda- 
via  muy  extenso  y poco  delimitado,  en  el  que  pueden  entrar  a formar  parte  factores 
como  clima  familiar  (Duenas  Buey,  1988),  clase  social  y educacion  (Minton  y Schnei- 
der, 1980;  Lautrey,  1985)  o los  estudios  relativos  a medio  rural,  urbano  suburbano  y 
educacion,  que  tienden  a constatar  diferencias  que  favorecen  a las  clases  socialmente 
mas  elevadas  y al  medio  urbano,  entre  otras  variables  igualmente  relevantes  (Consejo 
de  Universidades,  1987;  Martin,  1985;  MEC-INCE,  1998). 

Finalmente,  en  lo  que  respecta  a las  variables  de  materias  academicas  propiamente 
dichas  que  predicen,  despues  de  las  variables  anteriores,  el  rendimiento  academico, 
encontramos  las  materias  de  Ciencias  Sociales,  Lengua  y Literatura,  Matematicas  y 
Fisica  y Quimica.  Teniendo  en  cuenta  el  Informe  emitido  por  el  MEC  de  las  estadfsti- 
cas  en  dicho  Territorio  de  gestion  (tanto  centres  publicos  como  privados)  y relativas  a 
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la  promocion  de  alumnos  de  4°  de  ESO  en  el  curso  academico  1996-97,  detectamos  que 
el  numero  de  alumnos  que  superan  positivamente  las  materias  comentadas  anterior- 
mente  son,  precisamente  las  cuatro  mas  bajas,  junto  con  el  idioma  extranjero  que 
menor  porcentaje  de  alumnos  supera  a final  de  curso  (Fisica  y Quimica:  77,  7 % de 
evaluacion  positiva;  Ciencias  Sociales:  77,6  evaluados  positivamente;  Lengua  y Litera- 
tura:  72,9%  de  evaluacion  positiva;  Matematicas:  66,1%  de  evaluacion  positiva;  e idio- 
ma extranjero  (ingles):  68,5%  de  aprobados. 

En  resumen,  aproximadamente  un  alumno  de  cada  cuatro  en  dichas  materias  (y 
uno  de  cada  tres  en  Matematicas)  no  alcanza  los  objetivos  minimos  para  superar  la 
materia  correspondiente  a final  de  curso,  lo  cual  puede  hacer  suponer  que  ya  no  son 
factores  unicamente  intrapersonales  del  alumno  sino  igualmente  pedagogicos  (estilos 
de  ensenanza,  metodologia,  variables  de  profesor  como,  por  ejemplo,  la  formacion, 
interaccion  alumno-profesor,  organizacion  del  aula,  estilos  de  ensenanza,  inadecua- 
cion  de  los  criterios  de  evaluacion,  etc.),  o institucionales  (el  propio  sistema  educati- 
vo),  las  que  pueden  estar  implicadas  en  dicho  aprovechamiento  escolar. 

Eliminando  el  efecto  de  las  las  materias  academicas,  los  resultados  aparecen  de  la 
siguiente  forma.  (Tabla  3). 


TABLA  3 

EL  " MEJOR " SUBCONJUNTO  DE  REGRESlON  DE  VARIABLES  INDEPENDIENTES 
SOBRE  EL  RENDIMIENTO  ACADEMICO  FINAL  EN  4°  DE  E.S.O.  DESPUES  DE 
ELI  MIN AR  LAS  MATERIAS  ACADEMICAS.  (BMDP9R) 

ESTADfSTICOS  PARA  EL  "MEJOR"  SUBCONJUNTO  DE  REGRESlON  DE 
VARIABLES  INDEPENDIENTES  SOBRE  RENFINAL 

Correlacion  multiple  al  cuadrado 0.84271 

Correlacion  multiple 0.91799 

Corr.  multip.  al  cuadrado  ajustada 0.82815 

Error  estandar  de  estimation 5.126549 

Estadistico  F 57.86 

Nivel  de  signification 0.0000 


VAR. 

COEFI. 

REGRES 

ERROR 

STD. 

COEFI. 

STD. 

ESTAD. 

T 

NSIG. 

2-TAIL 

TOLER. 

CONTR. 
A RSQ. 

Intercept 

9.49839 

3.03195 

0.768 

3.13 

0.003 

Intern/  ext 

2.71942 

1.01744 

0.173 

2.67 

0.010 

0.695655 

0.02081 

Ambiente 

1.07138 

0.46059 

0.161 

2.33 

0.024 

0.610318 

0.01576 

Material 

0.64960 

0.37729 

0.111 

1.72 

0.091 

0.694998 

0.00863 

Renduno 

0.28954 

0.12234 

0.310 

2.37 

0.022 

0.169263 

0.01631 

Rendos 

0.32231 

0.11159 

0.381 

2.89 

0.006 

0.167344 

0.02430 
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La  variable  predictora  con  mas  peso  es  la  dimension  interno/externo,  es  decir,  en 
que  medida  el  alumno  atribuye  el  exito  o el  fracaso  a factores  internos  y a la  propia 
autorregulacion  de  su  aprendizaje,  o por  el  contrario  a factores  externos,  de  azar  o 
suerte.  Esta  variable  puede  tener  implicaciones  importantes  para  la  intervencion 
educativa  y la  tutoria  por  sus  relaciones  con  la  motivacion  academica,  pero  aunque 
este  aspecto  ha  cobrado  especial  importancia  en  los  ultimos  anos  (Harter,  1981,  1984, 
1992;  Harter  & Jackson,  1992;  Harter,  Whitesell  & Junkin,  1997;  Harter,  Whitesell  & 
Kowalski,  1992;  Gonzalez  Torres,  1997;  Alonso  Tapia,  1998),  y otros  enfoques  recientes 
comentados  mas  arriba,  creemos  que  su  aplicacion  practica  en  el  aula  es  practicamente 
inexistente  por  parte  de  los  docentes  en  la  actualidad. 

Por  otra  parte,  ademas  del  ambiente  y el  material,  la  evaluacion  obtenida  en  la 
primera  y segunda  evaluacion  se  convierten  en  predictores  importantes  del  rendi- 
miento  escolar  final,  apuntando  al  hecho  de  que,  en  la  medida  en  que  se  comienza  y se 
mantiene  el  alumno  a lo  largo  del  curso,  es  muy  probable  que  finalice  el  mismo  con  o 
sin  exito  escolar.  No  obstante,  este  aspecto  podria  tener  explicaciones  alternativas  de 
especial  relevancia  en  relacion  con  el  tema  actual  del  problema  de  la  evaluacion  en  la 
educacion  secundaria.  El  posible  determinismo  y continuidad  en  la  evaluacion  por 
parte  del  profesorado  que  empieza  a observarse  en  relacion  con  alumnos  y alumnas 
de  la  ESO  a lo  largo  del  curso  ^significa  realmente  una  consistencia  por  parte  de  estos 
en  la  adecuada  o inadecuada  adquisicion  y mantenimiento  de  los  contenidos,  en  sus 
habitos  de  estudio,  en  sus  aptitudes  y rendimiento  academico  en  un  curso  determina- 
do?,  o por  el  contrario  ^implica  una  perpetuacion  sesgada  en  los  metodos  de  evalua- 
cion por  parte  del  profesorado  y en  una  percepcion  y catalogacion  previa  del  alumno, 
desde  el  principio,  que  impide  al  profesor/a  detectar  fluctuaciones  en  el  aprendizaje, 
necesidades  educativas  transitorias  o adelantos  significativos  en  momentos  especifi- 
cos  de  la  historia  de  aprendizaje  de  aquel?  o finalmente,  ^es  que  los  profesores  desa- 
rrollan  de  forma  especial  un  sentido  intuitivo  para  pronosticar  de  forma  infalible,  y 
casi  a priori,  el  destino  academico  de  sus  alumnos?  Estas  y otras  razones  suponen  un 
reto  para  la  investigacion  futura  de  los  profesionales  de  la  educacion  interesados  en  el 
tema. 

V.  CONCLUSIONES  Y PERSPECTIVAS  FUTURAS 

Los  resultados  obtenidos  en  esta  investigacion  empfrica  confirman  y estan  en 
consonancia  con  el  modelo  teorico  cognitivo-evolutivo  de  S.  Harter,  al  menos  en  el 
rango  de  edad  estudiado  (16-17  ahos)  y en  la  muestra  espanola.  Este  modelo  parece 
uno  de  los  que  mas  se  acerca  a los  datos  empfricos  en  lo  que  se  refiere  a aspectos  de 
desarrollo  evolutivo  y especificacion  de  los  determinantes  de  la  autoestima,  asf  como 
en  aspectos  parciales  relacionados  con  el  logro  escolar. 

De  acuerdo  a lo  que  se  ha  constatado  y se  ha  expuesto  en  este  trabajo,  el  atractivo 
fisico  percibido  se  encuentra  estrechamente  unido  a la  autoestima  y a la  depresion.  Las 
intervenciones  en  este  campo  son,  en  la  actualidad,  verdaderamente  desafiantes.  Pope 
et  al.  (1988)  ofrecen  una  serie  de  sugerencias.  En  la  lfnea  de  la  literatura  atribucional 
estos  autores  creen  que  es  prioritario  el  cambio  de  las  atribuciones  individuales  relati- 
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vas  a la  falta  de  atractivo  fisico.  Aunque  sugieren  que  algunas  orientaciones  centradas 
en  la  forma  de  vestir  y en  la  higiene  personal  pueden  ser  apropiadas,  no  recomiendan 
soluciones  de  «cosmetica  y estetica»  que  tanto  han  sido  asociadas  a los  ideales  de 
atractivo  fisico  puestas  de  manifiesto  constantemente  en  los  medios  de  comunicacion 
social.  Mas  bien,  sugieren  que  los  agentes  educativos  y familiares  transmitan  la  idea 
de  que  tales  ideales  son  virtualmente  inalcanzables  y que  las  personas  deberian  alterar 
y cambiar  los  estandares  sociales  a los  que  a ellos  les  gustaria  parecerse.  Desde  la 
perspectiva  de  James,  lo  mas  sugerente  es  reducir  la  discrepancia  entre  la  imagen  ideal 
del  propio  cuerpo  y la  percepcion  real  del  mismo.  Pope  et  al.,  tambien  recomiendan 
algun  tipo  de  reestructuracion  cognitiva  que  modifique  el  centro  de  atencion  sobre  el 
propio  atrativo  fisico  hacia  otras  dimensiones  igualmente  relevantes  en  los  individuos 
como  pueden  ser  la  academica,  atletica,  interpersonal  o moral  en  las  cuales  estos 
individuos  son,  o pueden  llegar  a conseguir,  mayor  exito,  es  decir,  los  esfuerzos  de 
intervencion  deberian  dirigirse  al  cambio  de  percepcion  en  los  individuos  de  que  las 
cualidades  o caracteristicas  que  configuran  su  «yo  interno»  como  persona  valiosa 
determinaran  inevitablemente  la  aceptacion  de  su  «yo  externo». 

Dentro  del  contexto  escolar,  se  han  disehado  programas  educativos  para  mantener  o 
intensificar  el  autoconcepto  academico  y la  autoestima  global.  Los  objetivos  de  estos 
diversos  programas  reflejan  dos  orientaciones  que  parten  de  presupuestos  teoricos 
que  compiten  entre  si.  Como  han  subrayado  Caslyn  & Kenny  (1977),  los  teoricos  del 
fortalecimiento  del  yo  («self-enhancement»)  creen  que  los  esfuerzos  de  intervencion 
deben  dirigirse  a realzar  el  autoconcepto  y la  autoestima  directamente,  por  ejemplo, 
dando  a los  estudiantes  afectividad  y apoyo  basandose  en  ejercicios  que  estimulen  y 
fortalezcan,  en  lineas  generales,  los  sentimientos  de  «si  mismos».  Por  el  contrario,  los 
teoricos  del  «desarrollo  de  destrezas  y habilidades»  argumentan  que  las  actitudes 
acerca  del  «yo»  son  consecuencias  del  logro  academico  y por  tanto,  los  esfuerzos 
pedagogicos  deberian  dirigirse  hacia  el  logro  de  destrezas  academicas  especificas.  En 
los  ultimos  afios,  la  balanza  se  ha  inclinado  hacia  la  orientacion  del  aprendizaje  de 
habilidades  cuyas  intervenciones  se  han  dirigido  hacia  dimensiones  especificas. 

Ademas  de  ello,  recientemente  (Harter,  1998),  ha  sugerido  la  utilidad  de  distinguir 
entre  el  objetivo  de  un  programa  (por  ejemplo,  fortalecer  la  autoestima)  con  lo  que 
podria  denominarse  «el  blanco»  de  las  intervenciones,  argumentando  que  mientras  el 
fortalecimiento  de  la  autoestima  puede  ser  una  meta,  las  estrategias  de  intervencion 
deberian  dirigirse  hacia  sus  determinantes.  Dentro  de  este  modelo,  las  intervenciones 
para  fortalecer  la  autoestima  deberian  intentar  reducir  la  discrepancia  entre  las  dimen- 
siones de  competencia/importancia  (que  en  este  trabajo  aparecen  como  una  de  las 
principales  variables  predictoras),  y de  forma  complementaria,  encontrar  formas  de 
incrementar  la  aprobacion  de  los  «otros  significativos»,  proporcionando  apoyo  de 
agentes  familiares  o sociales  de  los  cuales  los  adolescentes  pueden  obtener  una  vision 
mas  positiva.  En  este  sentido,  los  programas  de  la  decada  de  los  afios  60  y 70  que 
intentaban  aumentar  la  autoestima  del  joven  directamente  tuvieron  poco  impacto 
sobre  la  misma.  Otros  investigadores  han  ofrecido  argumentos  similares  (Greenberg 
et  al.  1995),  centrandose  prioritariamente  sobre  el  aprendizaje  de  destrezas.  Hattie 
(1992)  en  un  meta-analisis  realizado  sobre  una  variedad  de  programas  de  intervencion 
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concluye  que  los  programas  cognitivos  son  consistentemente  y de  forma  significativa 
mas  efectivos  que  los  programas  basados  unicamente  en  lo  afectivo  (ver  tambien 
Strein,  1988).  Hattie  sugiere  que  las  intervenciones  orientadas  hacia  lo  cognitivo,  con 
objetivos  mas  especificos  y definidos  son  tambien  mas  susceptibles  de  valoracion. 
Marsh  (Marsh  & Hattie,  1996)  afirma  que  esta  perspectiva  es  mucho  mas  aconsejable. 
En  este  sentido,  se  ha  constatado  que  las  intervenciones  academicas  tienen  efectos 
significativos  sobre  los  componentes  academicos  del  autoconcepto  pero  muy  poco 
efecto  sobre  los  componentes  no  academicos  y viceversa.  Bracken  (1996)  tambien  ha 
senalado  que  la  carencia  de  exito  de  ciertos  programas  de  intervencion  se  debe  al 
hecho  de  que  el  autoconcepto  global  es  insuficientemente  sensible  a tratamientos 
especificos,  recomendando  que  las  intervenciones  se  dirijan  directamente  hacia  varios 
componentes  del  autoconcepto  simultdneamente.  En  una  linea  parecida  se  posicionan 
autores  como  Damon  (1995),  Seligman  (1993)  y Broc  (1991). 

Por  otra  parte,  y en  otro  nivel  de  analisis,  partiendo  de  que  un  adolescente  tiene 
una  baja  autoestima  ello  no  nos  permite  todavia  predecir  a que  tipo  especifico  de 
conducta  o trastorno  dara  lugar  (fracaso  escolar,  depresion,  suicidio,  trastornos  de  la 
conducta  alimentaria,  conductas  antisociales  y/o  delincuencia,  etc.).  Por  lo  tanto,  el 
desafio  actual  es  desarrollar  modelos  que  identifiquen  antecedentes  especificos  de 
diferentes  trastornos  posteriores  que  mantengan  el  papel  de  las  auto-representaciones 
como  mediadores  fenomenologicos  validos.  (Harter,  1998). 

Adentrandonos  en  intervenciones  mas  especificas,  Hattie  (1992)  sugiere  que  pro- 
porcionando  al  alumno  expedativas  realistas  que  sean  ligeramente  mas  elevadas  que  las 
que  mantiene  actualmente  se  podria  fortalecer  el  sentido  de  auto-eficacia  en  dominios 
relevantes  del  autoconcepto  (cf.,  Bandura,  1990).  Otros  autores  se  han  centrado  basica- 
mente  sobre  aquellas  variables  atribudonales  del  sentido  individual  del  «yo»  y que 
estan  implicadas  en  trastornos  depresivos.  De  esta  forma,  estrategias  en  las  que  se 
trabaja  una  reestruduradon  cognitiva-verbal  de  las  propias  atribuciones  modificandolas 
en  internas,  estables  y globales  en  relacion  al  propio  logro  personal  se  han  sugerido 
como  nuevas  estrategias  de  intervencion  (Pope,  McHale,  & Craighead,  1988;  Selig- 
man, 1993). 

Se  han  recomendado  otros  tipos  de  intervencion  a lo  largo  del  continuum  de 
programas  que  van  desde  lo  educacional  hasta  las  terapias  mas  formales.  A modo  de 
sintesis,  podria  afirmarse  que  en  el  extremo  mas  «educativo»  Beane  (1994)  describe  la 
aproximadon  «ecoldgica»  como  el  modelo  por  el  que  se  intentan  alterar  caracteristicas 
del  contexto  escolar  mas  amplio  de  tal  forma  que  proporcione  una  atmosfera  mas 
optima  y funcional  para  el  desarrollo  del  autoconcepto  y la  autoestima  (por  ejemplo, 
cambiando  el  enfasis  de  un  control  externo  hacia  otras  formas  de  autocontrol  mas 
personal).  Otras  aproximaciones  terapeuticas  mas  especificas  se  han  basado  en  la 
terapia  cognitiva  (Beck,  1976;  Seligman,  1993),  la  terapia  racional  emotiva  (Ellis,  1958; 
Zastrow,  1994)  y en  intervenciones  psicoanaliticas  (Wexler,  1991)  basadas  en  la  formu- 
lacion  de  Kohut  (1977). 

Es  necesario  subrayar  que  un  problema  principal  relacionado  con  los  esfuerzos 
puestos  en  el  diseno  de  programas  de  intervencion  ha  sido  el  fracaso  en  emplear  una 
estrategia  de  evaluacion  adecuada  en  cada  programa.  Algunas  estrategias  de  eva- 
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luacion  propuestas  para  mejorar  la  valoracion  adecuada  de  dichos  programas  po- 
drian  ser  las  siguientes:  a)  seleccionar  instrumentos  que  de  forma  especifica  midan 
los  constructos  que  constituyen  el  objetivo  de  la  intervencion  y que  tengan  funda- 
mentadas  propiedades  psicometricas;  b)  intentar  especificar  un  modelo  de  prediccio- 
nes,  que  indiquen  que  tipo  de  trastornos  o «productos  conductuales»  serian  o no 
serfan  afectados,  y que  incluyeran  medidas  fiables  y validas  de  cada  uno  de  ellos 
(ver  Marsh  & Hattie,  1996);  c)  incluir  medidas  de  los  procesos  actuales  que  supues- 
tamente  son  responsables  del  cambio  en  el  autoconcepto;  d)  mas  que  esperar  ganan- 
cias  medias  a nivel  de  grupo,  identificar  subgrupos  que  puedan  y/o  no  puedan 
aprovecharse  de  la  intervencion,  intentando  identificar  igualmente  los  factores  que 
pueden  dar  lugar  a estos  diferentes  tipos  de  resultados  en  la  intervencion.  Es  posible 
que  existan  adecuados  programas  de  intervencion  cuya  eficacia  no  haya  podido  ser 
demostrada  debido  al  problema  de  incluir  una  evaluacion  adecuada  y estrategias 
adecuadas  de  analisis  de  datos. 

A pesar  de  los  relativos  avances  comentados  en  este  trabajo  todavia  quedan  desa- 
fios  importantes  para  la  futura  investigacion  en  este  campo.  Algunos  de  los  analisis 
evolutivos  son  todavia  excesivamente  teoricos  y descriptivos,  y carecen  de  especifici- 
dad  asi  como  de  un  fundamento  empirico  solido,  particularmente  en  lo  que  respecta  a 
los  factores  subyacentes  y reglas  de  transicion  que  expliquen  los  mecanismos  del 
cambio.  Aunque  los  investigadores  de  los  procesos  del  «yo  adulto»  han  conseguido 
un  nivel  mas  amplio  de  especificidad,  sabemos  muy  poco  acerca  de  como  dichos 
procesos  emergen  evolutivamente.  A lo  largo  de  todos  los  niveles  evolutivos,  se 
deberia  de  prestar  mucha  mas  atencion  a variables  contextuales  que  ejercen  un  impac- 
to  decisivo  en  las  auto-representaciones.  Finalmente,  se  necesita  tener  mucho  cuidado 
en  la  investigacion  acerca  del  «yo»,  es  decir,  es  necesario  explicar  como  las  auto- 
representaciones  tienen  consecuencias  criticas  en  la  vida  diaria  de  los  ninos,  adoles- 
centes  y adultos,  para  que  los  esfuerzos  de  los  investigadores  y educadores  no  vayan 
por  caminos  equivocados.  Todos  ellos  son  desafios  estimulantes  que  se  nos  presentan 
para  el  futuro. 
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RESUMEN 

Hace  bastante  tiempo  que  la  formation  initial  del  profesorado  de  Education  Secundaria  esta 
en  entredicho.  Si  la  aparicion  en  los  anos  70  del  Curso  de  Aptitud  Pedagogica  (CAP)  supuso 
un  avance  en  la  conception  del  acceso  a la  docencia,  el  paso  de  los  anos  ha  puesto  de  manifiesto 
el  desfase  y obsoletismo  de  este  sistema  y la  incapacidad  de  las  autoridades  educativas  para 
implementar  nuevas  formas  de  preparation  de  un  profesorado  que  debe  estar  mejor  preparado 
para  hacer  frente  a un  alumnado  cada  vez  mas  diverso  y multicultural.  En  el  presente  artxculo, 
en  el  que  tomamos  como  referenda  las  distintas  normativas,  analizamos  toda  esta  problemdtica 
y,  partiendo  de  una  investigation  llevada  a cabo  con  alumnos  del  CAP , realizamos  diversas 
propuestas  dirigidas  a los  sectores  implicados  con  elfin  de  contribuir  a una  mejora  en  la  calidad 
de  la  preparation  del  profesorado  de  Education  Secundaria. 

ABSTRACT 

The  initial  training  of  Secondary  Education  teachers  is  in  doubt  for  a long  time.  If  the 
appearance  of  the  Educational  Aptitude  Course  (CAP)  in  the  seventies  meant  an  advance  in 
the  understanding  of  the  access  to  the  teaching,  the  passage  of  time  has  made  evident  the  fact 
that  this  system  is  out  of  step  with  today's  world  and  the  inability  of  the  education  authorities 
to  apply  new  forms  of  training  to  teachers  who  must  be  qualified  to  face  up  to  very  varied  and 
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multicultural  pupils.  In  this  article,  in  which  we  take  into  account  the  state  orders,  we  analyse 
all  these  problems.  We  start  from  an  investigation  that  was  carried  out  with  the  CAP  pupils 
and  we  carry  out  some  proposals  to  the  involved  sectors  for  helping  to  improve  the  quality  of 
the  teachers  training  of  the  Secondary  Education. 

I.  LA  FORMACION  INICIAL  DEL  PROFESORADO  DE  SECUNDARIA 

La  formation  initial  del  profesorado  es  considerada  como  uno  de  los  medios  mas 
importantes  e ineludibles  para  promover  las  reformas  y mejoras  que  la  sociedad 
demanda  hoy  de  los  sistemas  educativos.  Pero  la  busqueda  de  la  calidad  en  esa 
formation  initial  debe  pasar  por  una  serie  de  premisas  si  no  queremos  quedarnos  en 
unos  planteamientos  teoricos,  que  se  van  transmitiendo  en  algunas  actividades  pun- 
tuales,  pero  que  no  llegan  a cuajar  en  propuestas  concretas  y viables  para  que  puedan 
desarrollarse.  Prueba  de  ello  son  los  deficits  provenientes  de  una  escasa  formation 
inicial  muy  patente  en  el  profesorado  de  education  secundaria  y que  no  tiene  conti- 
nuidad  en  la  vida  profesional  de  los  docentes  (Imbernon,  1994;  Esteve,  1997;  Campoy, 
1997a,  1997b;  Angulo,  Etopa  y Martin,  1998;  Ferreres  y otros,  1998;  Yanes,  1998). 

Durante  anos  la  formation  inicial  del  profesorado  de  secundaria,  que  se  ha  venido 
realizando  por  medio  del  Curso  de  Aptitud  Pedagogica  (CAP),  ha  estado  muy  des- 
prestigiada,  cuando  no  sumida  en  un  verdadero  caos.  En  los  ultimos  tiempos,  algunas 
universidades  han  cerrado  sus  ICEs,  y las  Comunidades  Autonomas  con  transferen- 
cias  en  education  han  elaborado  decretos  de  regulation  del  CAP  en  un  intento  de 
mejora  de  esa  formation. 

La  realidad  es  que  en  el  momento  actual  la  mayorfa  de  los  profesores  aprenden  el 
ejercicio  docente  por  intuition  o mediante  la  practica  del  ensayo  y error.  Todavfa  esta 
muy  presente  que  lo  que  un  profesor  necesita  para  dar  clase  es  tener  un  buen  dominio 
de  la  materia  que  va  a impartir. 

De  forma  general,  la  actual  situation  viene  caracterizada  por  la  ausencia  de  una 
cultura  espetifica  del  profesorado  de  Secundaria,  formado  este  por  un  colectivo  hete- 
rogeneo,  sometido  a una  reconversion  en  gran  medida  impuesta.  Todo  esto  repercute 
en  el  diseno  de  polfticas  de  formation  inicial  y continuada  del  profesorado,  en  la  que 
hay  que  atender  a una  enorme  masa  de  personas,  que  tienen  grados  de  implication, 
experiencia  y titulaciones  muy  diversas.  Asimismo,  la  escasa  motivation  del  alumna- 
do  del  CAP,  los  problemas  de  planificacion  y coordination  del  profesorado  que  lo 
imparte,  los  contenidos  de  formation,  los  horarios  inadecuados,  el  elevado  numero  de 
alumnos  por  aula,  el  excesivo  contenido  teorico  de  las  clases,  la  inadecuacion  didactica 
de  las  aulas,  la  falta  de  un  profesorado  estable  y cualificado  o la  insatisfaccion  en  la 
realization  de  las  practicas  programadas,  son  algunas  de  las  principales  quejas  mani- 
festadas  por  el  alumnado,  que  se  traducen  en  un  sentimiento  generalizado  de  'expec- 
tativas  frustradas'  y de  'tramite  necesario'  para  el  ejercicio  profesional  (Campoy, 
1997a,  1997b;  Esteve,  1997).  Ademas  de  estos  problemas  por  resolver  quedan  pendien- 
tes  otros  temas  desde  hace  tiempo  demandados,  como  son  la  reestructuracion  de  los 
cuerpos  docentes  y sus  competencias  profesionales,  el  mantenimiento  de  la  diploma- 
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tura  en  la  titulacion  de  Infantil  y Primaria  o la  vieja  reivindicacion  del  cuerpo  unico  de 
ensenantes. 

Ante  este  panorama,  se  debe  tener  el  valor  suficiente  de  plantear  la  necesidad  de  la 
transformacion  de  los  planes  de  estudio  de  formacion  inicial  del  profesorado  y de  las 
instituciones  y planes  responsables  de  la  formacion  permanente.  Como  senala  Perez 
Gomez  (1990:  87)  «ya  es  hora  de  integrar  los  programas  de  formacion  inicial,  investi- 
gation educativa,  innovation  curricular  y perfeccionamiento  del  profesor  en  proyec- 
tos  convergentes». 

El  motivo  de  nuestro  trabajo  se  encuentra,  pues,  en  la  inquietud  que  hemos  mostra- 
do  como  consecuencia  de  la  experiencia  de  impartir  modulos  del  CAP  a lo  largo  de 
estos  anos,  en  la  que  hemos  podido  constatar,  basicamente,  los  deficits  importantes  en 
los  contenidos  de  los  programas,  la  insuficiente  formacion  inicial  en  su  conjunto  con 
que  se  ha  pretendido  formar  al  profesorado  de  secundaria,  las  discrepancias  observa- 
das  y el  grado  de  insatisfaccion  demostrado  por  los  destinatarios  de  estos  cursos  de 
cualificacion  pedagogica. 

Deseamos  que  nuestra  aportacion  ayude  a fomentar  un  proceso  de  reflexion  no 
solo  en  los  profesionales  de  la  docencia  implicados  en  la  formacion  inicial  del  profeso- 
rado, sino  tambien  — y lo  mas  importante — en  aquellas  personas  que  han  de  tomar 
decisiones  en  la  mejora  de  planes  de  estudios,  de  manera  que  se  ponga  en  las  mejores 
condiciones  formativas  al  profesorado  mediante  la  incorporation  de  los  cambios  que 
se  estan  dando  en  el  sistema  educativo,  al  mismo  tiempo  que  sea  capaz  de  afrontar  los 
restos  de  la  sociedad  actual. 

2.  LA  EVOLUCION  EN  LA  FORMACION  DEL  PROFESORADO  DE  SECUNDA- 
RIA 

La  filosoffa  de  los  programas  de  formacion  inicial  del  profesorado  ha  sufrido  una 
considerable  transformacion  en  las  ultimas  decadas,  segun  se  desprende  del  siguiente 
recorrido  historico. 

Con  la  llegada  de  la  II  Republica  se  da  un  cambio  en  las  perspectivas  sobre  la 
formacion  del  profesorado.  En  efecto,  el  Plan  de  1931  tiene  un  claro  objetivo  de 
profesionalizar  la  figura  del  maestro  introduciendo  una  serie  de  cambios  que  afectara 
a su  formacion. 

El  desarrollo  de  este  plan  de  formacion  del  profesorado  es  paralelo  a la  aparicion 
del  primer  plan  sistematico  de  formacion  de  profesores  de  segunda  ensenanza  en 
Espana.  Es  en  1932  cuando  se  crea  a nivel  oficial  la  Seccion  de  Pedagogfa,  a la  que 
corresponde  la  imparticion  de  cursos  para  obtener  el  certificado  de  aptitud  pedagogica 
dirigido  a los  profesores  de  ensenanza  secundaria.  Segun  Ruiz  Berrio  (1980)  se  dieron 
dos  intentos  previos  para  la  institutionalization  de  la  formacion  del  profesorado  de 
secundaria  por  medio  de  la  Escuela  Normal  de  Filosoffa  (1847-1852)  y el  Instituto- 
Escuela  de  Segunda  Ensenanza  de  Madrid. 

El  franquismo  tuvo  como  objetivo  deshacer  la  obra  educativa  de  la  Segunda  Repu- 
blica y los  ideales  progresistas  del  siglo  XIX.  Durante  esta  etapa  se  configura  un  nuevo 
modelo  escolar  con  un  ideario  de  formacion  religiosa  y patriotica. 
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El  aperturismo  de  Ruiz  Jimenez  propicia  la  aparicion  de  la  Ley  General  de  Educa- 
cion de  Villar  Palasi  (1970).  Con  esta  ley  «se  culmina  un  proceso  de  implantation 
hegemonica  de  una  vision  tecnico  cientffica  de  la  educacion  y de  superacion  de  la 
vision  vocacionalista  y patriotera  de  la  profesion  docente»  (Yanes,  1998:  66).  Se  defen- 
dia  la  'profesionalidad'  docente  mostrando  la  labor  educativa  como  'tecnica'  y el 
profesorado  se  alejaba  de  la  reflexion  y la  busqueda  de  alternativas  en  torno  a los  fines 
y las  mismas  condiciones  bajo  las  que  se  impartfa  la  ensenanza. 

Esta  ley,  en  su  artfculo  102.2b  y la  O.M.  de  8 de  junio  (BOE  de  12  de  agosto), 
establece  el  modelo  del  CAP.  La  formacion  pedagogica  sera  impartida  por  los  ICEs  y 
se  desarrollara  en  dos  ciclos.  El  primer  ciclo  sera  de  caracter  teorico  y consistira  en  el 
estudio  de  los  fundamentos  y principios  generales  de  la  educacion  necesarios  para  la 
labor  docente.  Las  tematicas  que  se  abordan  son:  a)  Principios,  objetivos  y problema- 
tica  de  la  educacion  en  sus  aspectos  psicologicos,  sociologies  e histories;  b)  tecnolo- 
gias  y sistemas  de  innovation  educativa;  c)  didacticas  especiales.  Se  recomienda  que 
haya  un  equilibrio  entre  la  formacion  pedagogica  general  y las  didacticas  de  las 
disciplinas  correspondientes.  Este  primer  ciclo  tendra  como  minimo  una  duracion  de 
150  horas,  quedando  al  criterio  de  cada  ICE  las  modalidades  de  realization.  El  segun- 
do  ciclo,  de  caracter  practico,  consistira  en  el  ejercicio  de  la  labor  docente  de  los 
candidatos  en  los  centros  que  se  determinen,  bajo  la  responsabilidad  de  los  profesores 
tutores  que  se  designen.  El  tiempo  minimo  de  este  segundo  ciclo  sera  tambien  de  150 
horas. 

La  decada  de  los  ochenta  se  caracteriza  por  el  inicio  y progresiva  extension  de  una 
oferta  de  formacion  que  intenta  dar  respuesta  a la  demanda  generalizada  en  los 
sectores  mas  comprometidos  con  la  educacion  y su  mejora.  En  este  periodo  se  incre- 
menta  la  oferta  de  formacion,  para  adaptarse  al  nuevo  marco  curricular,  institucional 
y profesional.  Es  una  etapa  de  'claroscuro'  en  la  que  se  acentuan  las  contradicciones 
entre  cantidad  y calidad,  extension  y profundidad  que  cuestionan  las  estrategias  de 
formacion  y el  sentido  mismo  de  la  formacion  al  que  estas  remiten:  hay  una  erratica 
polftica  de  formacion  permanente  del  profesorado,  obsesivamente  centrada  en  los 
aspectos  cuantitativos  de  la  formacion  y la  ausencia  de  formacion  inicial  profesionali- 
zadora  para  gran  parte  del  profesorado  de  Secundaria  (Yanes,  1998). 

• Por  su  parte,  la  Junta  de  Andalucfa  por  una  Orden  de  la  Consejeria  de  Educacion  y 
Ciencia  de  11  de  diciembre  de  1985  (BOJA  n°  3 de  14-01-85)  regula  el  curso  para  la 
obtencion  del  CAP  en  las  Universidades  de  la  Comunidad  Autonoma  de  Andalucfa. 
Esta  normativa  senala  que  el  proceso  de  formacion  inicial  del  profesorado  es  un 
elemento  fundamental  del  sistema  educativo  y,  con  el  fin  de  evitar  desajustes  en  los 
objetivos  que  deben  presidir  el  sistema  de  formacion  inicial,  procede  a reestructurar  el 
Curso  que  tendra  en  cuenta  las  siguientes  normas  basicas:  a)  Diseno  curricular  unifica- 
do;  b)  Diseno  curricular  integrador  (teorfa  y practica);  c)  Simultaneidad  de  las  fases 
teorica  y practica;  d)  La  fase  practica  consistira  en  la  adscripcion  del  alumno  a un 
Seminario,  participando  en  todas  las  actividades  del  mismo  de  una  manera  progresi- 
va. 

Los  modulos  que  configuran  el  curso  corresponden  a Teorfa  de  la  Educacion, 
Psicologfa  de  la  Educacion,  Didactica  General  y Didactica  Especial.  La  duracion  de 
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cursos  — que  simultanea  la  fase  teorica  y la  fase  practica — es  de  90  horas  para  la  fase 
teorica  y de  90  horas  para  la  fase  practica.  La  evaluacion  del  alumnado  se  basara  en  las 
entrevistas,  control  de  asistencia  y pruebas  escritas,  para  la  fase  teorica.  En  la  parte 
practica  se  encargan  los  ICEs  de  la  fase  de  simulacion  y los  tutores  de  la  fase  de 
intervencion. 

La  LOGSE  establece  en  su  artfculo  24.2  que  para  impartir  las  ensefianzas  en  la 
etapa  Secundaria  es  necesario,  ademas,  estar  en  posesion  de  un  titulo  profesional  de 
especializacion  didactica.  Este  tftulo  se  obtiene  mediante  la  realizacion  de  un  curso  de 
cualificacion  pedagogica,  con  una  duracion  minima  de  un  ano  academico,  que  inclui- 
ra,  en  todo  caso,  un  periodo  de  practica  docentes. 

El  Real  Decreto  de  20  de  octubre  de  1995  (BOE  9 de  noviembre),  completado  con  la 
Orden  de  26  de  abril  de  1996  (BOE  11  de  mayo),  establece  los  contenidos  y las 
caracteristicas  del  nuevo  Curso  de  Cualificacion  Pedagogica  (CCP),  con  la  finalidad  de 
sustituir  al  criticado  CAP.  Este  curso  intenta  proponer  una  solution,  con  algunas 
novedades  interesantes  — concretadas  en  otro  apartado — , para  ordenar  y dar  solidez 
a la  formacion  inicial  de  los  profesores  de  secundaria.  Sin  embargo,  algunos  elementos 
del  modelo  propuesto,  y la  inevitable  inercia  de  las  instituciones,  puede  convertir  a 
este  curso  en  una  nueva  version  del  CAP,  que  herede  sus  limitaciones  y su  despresti- 
gio  (Esteve,  1997: 10).  La  novedad  mas  importante  de  este  decreto,  es  la  consideration 
de  las  practicas  como  elemento  vertebrador  del  curso  de  cualificacion  pedagogica. 

3.  INVESTIGACION  SOBRE  EL  CAP 

Nuestro  punto  de  partida 

Diversos  autores  han  prestado  recientemente  su  atencion  al  CAP,  como  curso 
veterano  en  la  formacion  inicial  del  profesorado  de  Education  Secundaria,  por  moti- 
vos  distintos: 

• Por  sus  lagunas  en  la  formacion  del  profesorado  (Esteve,  1997). 

• Por  ser  un  terreno  problematico  y conflictivo  (Escudero  y otros,  1997). 

• Para  comprobar  la  idoneidad  de  un  instrumento  de  analisis  textual  (Gil  y otros, 
1998) 

• Para  ofrecer  propuestas  de  formacion  (Esteve,  1997;  Yanes,  1998). 

Incluso,  algunas  editoriales  de  implantation  nacional  han  disenado  colecciones  de 
libros  destinadas  a «rellenar»  esos  grandes  vacios  formativos  que  la  deficitaria  forma- 
cion de  los  profesores  presentaba  antes  de  iniciar  su  contacto  real  con  los  alumnos 
(ver,  por  ejemplo,  la  coleccion  «Cuadernos  de  Formacion  del  Profesorado  de  Secunda- 
ria»  de  la  editorial  ICE/Horsori). 

Este  inusitado  interes  por  la  formacion  del  profesorado  de  Secundaria,  unida  a la 
falta  de  datos  sobre  los  que  establecer  propuestas  de  futuro  son  los  que  nos  han 
llevado  a la  realizacion  de  la  investigacion  que  ofrecemos  a continuacion  de  forma 
resumida. 
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Aspectos  metodologicos 

Objetivo 

No  es  objetivo  de  esta  investigacion  realizar  inferencias  en  los  resultados  obtenidos 
en  la  misma,  dado  que  no  se  controlaron  variables  ni  se  realizo  un  estudio  poblacional. 
Nuestra  intencionalidad  ha  sido  tomar  como  referencia  la  opinion  del  alumnado  que 
realizo  el  CAP  durante  el  curso  98/99  en  la  Universidad  de  Jaen  sobre  aspectos 
diversos  de  tipo  general,  metodologico,  contextual  y organizativo  en  relacion  con  los 
cuatro  modulos  que  lo  componen,  con  la  finalidad  de  establecer  lineas  de  trabajo 
futuras,  que  posibiliten  un  cambio  y una  adecuacion  en  la  formacion  inicial  de  los 
profesores  de  Educacion  Secundaria. 

Por  otro  lado,  es  tambien  objetivo  del  estudio  reflexionar  sobre  las  posturas  perso- 
nales  ante  los  temas  propuestos  y ver  hasta  que  punto  estos  futures  profesores  de 
Secundaria  exponfan  algun  tipo  de  soluciones  a los  problemas  que  ellos  mismos 
planteaban. 

Sujetos 

La  poblacion  la  forman  el  total  de  estudiantes  que  realizaron  el  CAP  en  la  Univer- 
sidad de  Jaen  durante  el  curso  98/99,  que  asciende  a 582  repartidos  en  6 grupos.  La 
muestra  esta  compuesta  por  aquellos  alumnos  que  voluntariamente  decidieron  expre- 
sar  su  opinion  a traves  del  cuestionario,  cuyo  numero  es  de  383.  A continuacion,  se 
expone  la  distribucion  muestral  atendiendo  a las  principales  variables  de  la  misma. 
Aclaramos  que  algunos  cuestionarios  no  incluyeron  la  titulacion  por  lo  que  los  totales 
de  las  titulaciones  y ramas  de  estudio  no  concuerdan  con  el  total  de  la  muestra. 

• Distribucion  por  sexo: 


Frecuencia 

Porcentaje 

Porcent.  valido 

Porcent.  acumulado 

Hombre 

170 

22,8 

44,4 

44,4 

Mujer 

213 

28,6 

55,6 

100,0 

Total 

383 

51,5 

100,0 
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® Distribucion  por  titulaciones: 


Titulacidn 

Frecuencia 

Titulacidn 

Frecuencia 

Biologfa 

19 

Topografia 

n 

C.  Superior  de  Musica 

9 

Filosofia  y Letras 

2 

Derecho 

26 

Farmacia 

4 

Enfermeria 

28 

Ingenieria  de  Caminos 

3 

Estadistica 

2 

Economia  y Empresariales 

33 

Filologia  Francesa  y Romanica 

1 

Arquitectura 

5 

Filologia  Hispanica 

26 

Educacion  Fisica 

1 

Filologia  Inglesa 

21 

Psicologia 

19 

Graduado  Sodal 

25 

Geografia  e Historia 

8 

Hosteleria 

1 

Bellas  Artes 

1 

Humanidades 

10 

Geodesia  y Cartografia 

2 

Ingenieria  Tecnica 

38 

Sociologia 

2 

Ingenieria  Tecnica  en  Informatica 

6 

Ciencias  de  la  Informacion 

2 

Pedagogia 

1 

Documentation 

1 

Quimica 

18 

Psicopedagogia 

2 

Reladones  Laborales 

3 

Matematicas 

3 

Trabajo  Social 

23 

Empresariales 

8 

Turismo 

1 

Fisica 

2 

Veterinaria 

3 

Fisioterapeuta 

1 

. • Distribucion  por  ramas  de  estudio: 


Frecuencia 

Porcentaje 

Porcent.  valido 

Porcent.  acumulado 

CC  de  la  Salud 

35 

5,9 

9,7 

9,7 

CC.  Experimentales 

48 

8,1 

13,3 

22,9 

CC.  Sociales  y Juridicas 

112 

18,8 

30,9 

53,9 

Ensenanzas  Tecnicas 

60 

10,1 

16,6 

70,4 

Humanidades  y CC.EE. 

89 

14,9 

24,6 

95,0 

Otros 

18 

3,0 

5,0 

100,0 

Total 

362 

60,7 

100,0 
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Disefio  y procedimiento 

La  investigacion  es  de  tipo  descriptivo  basada  en  la  encuesta  como  forma  de 
obtener  la  informacion.  Dado  el  alto  numero  de  sujetos  a los  que  se  le  aplico  el 
cuestionario,  resultaba  compleja  la  utilizacion  de  otras  tecnicas,  quizas  mas  directas  y 
precisas  como  podrfa  ser  la  entrevista  personal.  El  cuestionario  se  paso  de  forma 
simultanea  en  todos  los  modulos  que  componfan  el  CAP  en  la  Universidad  de  Jaen, 
para  lo  cual  se  solicito  al  alumnado  su  cumplimentacion  confidencial  y voluntaria  y se 
les  expuso  la  finalidad  del  mismo.  Precisamente,  la  idea  de  la  mejora  de  la  calidad  del 
CAP  fue  una  constante  durante  el  tipo  de  duracion  del  curso  y a ella  se  aludio  en  la 
presentacion  del  cuestionario. 

Instrumento  utilizado 

El  instrumento  utilizado  ha  sido  un  cuestionario  de.  tipo  mixto,  que  permitla  al 
alumno  valorar  de  forma  cuantitativa  cada  uno  de  los  items  y expresar  libremente  su 
punto  de  vista  acerca  de  los  contenidos  vertidos  en  los  mismos.  El  cuestionario  se 
compone  de  una  parte  de  toma  de  datos  personates,  seguida  de  un  total  de  12  items 
cerrados  que  pedian  al  alumno  una  valoracion  entre  1 y 3 (de  acuerdo,  indiferente,  en 
desacuerdo),  completados  con  un  item  de  valoracion  global  del  CAP  (nada  satisfacto- 
ry, satisfactory,  muy  satisfactory). 

Los  12  items  se  refieren  a las  siguientes  cuestiones: 

1.  Conocimiento  que  tiene  el  alumno  de  los  objetivos  y contenidos  de  las  distin- 
tas  materias. 

2.  Los  profesores  imparten  clase  de  acuerdo  con  las  caracteristicas  del  grupo. 

3.  Metodologia  de  aula  adecuada  a cada  materia. 

4.  Materiales  de  trabajo  ajustados  a los  contenidos  de  las  materias. 

5.  Participation  del  alumnado  en  las  clases. 

6.  El  clima  de  aula  ha  favorecido  las  relaciones  entre  los  alumnos. 

7.  Nivel  de  aprendizaje  logrado  de  acuerdo  con  los  objetivos  planteados. 

8.  Modelos  de  evaluacion  seguidos. 

9.  Contenidos  del  CAP  que  preparan  para  el  ejercicio  de  la  docencia. 

10.  Bibliografia  adaptada  a los  planteamientos  de  las  distintas  materias. 

11.  Labor  desarrollada  por  el  profesorado. 

12.  Contribution  de  los  trabajos  practicos  para  la  formacion  del  futuro  profesor. 

13.  Valoracion  global  del  CAP. 

Finalmente,  se  incluyo  un  listado  de  aspectos  importantes  en  la  formacion  del 
profesorado,  para  que  estos  manifestaran  su  interes  sobre  ellos  o incluyeran  otros  que 
les  parecieran  importantes.  Estos  aspectos  son:  estrategias  de  aprendizaje,  clima  de 
aula,  fracaso  escolar,  action  tutorial,  tecnicas  de  estudio,  evaluacion,  legislacion,  orga- 
nization del  centro,  atencion  a la  diversidad,  organization  del  curriculum. 

La  fiabilidad  del  instrumento  ha  sido  comprobada  por  varios  estadisticos.  La  alfa 
de  Cronbach  muestra  la  alta  consistencia  interna  del  cuestionario  con  un  indice  de 
0,7346.  El  modelo  de  las  dos  mitades  ofrece  una  correlation  todavia  mas  alta  (0,7752), 
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lo  que  demuestra  que  el  planteamiento  directo  y la  sencillez  del  cuestionario  dificil- 
mente  pueden  inducir  a error  en  las  interpretaciones. 

Analisis  de  los  resultados 

Se  ofrece  a continuation  un  analisis  conjunto  de  las  respuestas  cerradas  y abiertas 
planteadas  en  el  cuestionario.  Este  estudio  de  tipo  comparativo  nos  permite  un  acerca- 
miento  mas  real  al  pensamiento  del  alumno. 

Para  realizar  el  analisis  de  las  preguntas  cerradas  hemos  utilizado  el  paquete 
estadistico  SPSS  para  Windows  en  su  version  8.  Para  el  estudio  de  los  items  de  tipo 
cualitativo  incluidos  en  el  cuestionario  se  utilizo  en  un  principio  el  programa  de  Hyper 
Research,  no  obstante,  las  primeras  transcripciones  de  respuestas  pusieron  en  eviden- 
cia  la  repetitividad  de  las  mismas  y la  existencia  de  un  corpus  ya  estratificado  en 
funcion  de  frases  cortas  y directas  en  cada  uno  de  los  items.  Esta  circunstancia  posibi- 
lito  que  fuese  bastante  agil  la  ordenacion  manual  en  funcion  de  las  frecuencias  de  cada 
uno  de  los  textos  conforme  estos  iban  apareciendo. 

• Item  1.  Conocimiento  que  tiene  el  alumno  de  los  objetivos  y contenidos  de  las 
distintas  materias:  El  nivel  medio  de  grado  de  acuerdo  con  este  item  es  de  un 
48,4%,  siendo  las  mujeres  las  que  manifiestan  conocer  mejor  los  objetivos  y 
contenidos  impartidos  (50,5%).  Es  Ciencias  de  la  Salud  la  rama  que  expresa  un 
mayor  acuerdo  (67,7%). 

Comprobamos  en  las  respuestas  abiertas  una  unanimidad  en  el  sentido  de  que 
no  todas  las  materias  han  sido  claras  y explicitas  para  el  alumno. 


Grafico  1 

Valoracion  enrelacion  con  los  objetivos  y contenidos  de  las  materias. 
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® Item  2.  Los  profesores  imparten  clase  de  acuerdo  con  las  caracteristicas  del  grupo:  Un 
porcentaje  por  debajo  de  la  mitad  del  alumnado  encuestado  (40,8%)  expresa  su 
acuerdo  con  la  forma  de  impartir  las  clases  del  profesorado.  No  se  aprecian 
diferencias  significativas  con  relacion  al  sexo.  Son  los  alumnos  de  carreras  per- 
tenecientes  a las  ramas  de  Ciencias  Sociales  y Juridicas  y Ensenanzas  Tecnicas 
los  que  muestran  un  mayor  grado  de  acuerdo. 

Del  analisis  cualitativo  se  desprende  que  la  valoracion  depende  de  cada  modu- 
lo, aunque  en  general  se  reconoce  que  el  profesorado  se  ha  esforzado  en  superar 
los  inconvenientes  propios  del  CAP.  Un  dificultad  anadida  ha  sido  la  heteroge- 
neidad  de  los  grupos,  debido  a la  diversidad  de  carreras  y expectativas. 


■ Grafico  2 

Adecuacion  de  las  clases  a las  caracteristicas  del  grupo. 


• Item  3.  Metodologia  de  aula  adecuada  a cada  materia:  Menos  de  un  tercio  del 
alumnado  del  CAP  muestra  su  grado  de  acuerdo  con  la  metodologia  empleada 
en  cada  materia.  Destacan  las  mujeres  con  un  45,8%  de  desacuerdo,  frente  a un 
31,8%  de  los  hombres.  Las  ramas  de  Ciencias  de  la  Salud  y Ciencias  Experimen- 
tales  (35,4%)  son  las  que  reflejan  un  menor  y un  mayor  grado  de  acuerdo, 
respectivamente. 

El  analisis  cualitativo  pone  de  manifiesto  el  despiste  del  alumnado  en  este  tema, 
a juzgar  por  el  hecho  de  que  no  sepan  bien  que  se  les  esta  preguntando  y no 
ajusten  las  respuestas  a la  pregunta  planteada.  No  obstante,  algunos  de  los 
encuestados  manifiestan  la  dependencia  de  la  metodologia  en  funcion  de  la 
materia  impartida. 
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Grafico  3 

Metodologia  empleada. 


□ En  desacuerdo 

□ Indiferente 
■ De  acuerdo 


® Item  4.  Materiales  de  trabajo  ajustados  a los  contenidos  de  las  materias:  Es  el  segundo 
item  mas  valorado  por  los  estudiantes  (60,7%),  en  especial  las  mujeres  con  un 
65,1%.  Existe  bastante  igualdad  en  cuanto  al  grado  de  satisfaction  entre  las 
distintas  ramas  en  relacion  con  los  materiales  facilitados  para  su  estudio  y 
trabajo.  Destaca  Ciencias  Experimentales  con  un  70,8%. 

En  general  el  material  de  clase  aportado  ha  sido  valorado  positivamente  por  el 
alumnado,  tan  solo  un  grupo  no  significativo  aboga  porque  se  den  menos 
apuntes  y fotocopias. 


Grafico  4 

Relation  entre  materiales  y contenidos  de  la  materia. 
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Item  5:  Participation  del  alumnado  en  las  clases:  En  general  el  alumnado  se  ha 
mostrado  bastante  satisfecho  en  cuanto  a su  participation  en  las  clases,  pues  tan 
solo  el  16,8%  muestra  su  disconformidad.  La  carrera  que  mas  muestra  su  grado 
de  acuerdo  (77,1%)  es  Ciencias  de  la  Salud.  A nivel  global  son  las  mujeres  las 
que  manifiestan  un  mayor  grado  de  desacuerdo. 

En  lineas  generates  ha  sido  positiva,  aunque  dependiendo  de  los  modulos. 
Tan  to  la  masificacion  por  aula  como  el  escaso  tiempo  del  que  se  ha  dispuesto, 
han  sido  factores  que  no  ha  favorecido  la  participacion  en  el  grado  deseable.  A 
pesar  de  todo,  el  ambiente  ha  sido  distendido  y colaborador. 


Grafico  5 

Participation  del  alumnado. 


Item  6.  El  clima  de  aula  ha  favorecido  las  relaciones  entre  los  alumnos:  El  nivel  de 
acuerdo  con  relation  al  clima  de  aula  supera  ligeramente  a la  mitad  del  alumna- 
do (53,9%).  No  hay  diferencia  significativa  por  sexo.  Las  Ensenanzas  Tecnicas  y 
Ciencias  de  la  Salud  expresan  su  mayor  grado  de  satisfaction. 

De  nuevo  se  observa  la  masificacion  como  factor  que  no  favorece  las  relaciones 
humanas.  El  tiempo  de  convivencia  ha  sido  escaso,  pero  las  relaciones  son 
valoradas  positivamente  por  el  alumnado. 
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Grafico  6 
El  clima  de  aula. 

• Item  7.  Nivel  de  aprendizaje  logrado  de  acuerdo  con  los  objetivos  planteados:  Algo 
menos  de  un  tercio  del  alumnado  del  CAP  (31,7%)  se  pronuncia  favorablemente 
con  relation  al  nivel  de  aprendizaje  adquirido.  No  se  aprecian  diferencias  signi- 
ficativas  en  cuanto  al  sexo  ni  a las  ramas  de  estudios. 

La  escasez  de  tiempo  ha  impedido  que  se  profundizase  suficientemente  en 
algunas  materias.  Ademas,  la  condensation  de  los  contenidos  no  les  ha  permiti- 
do  absorver  a un  ritmo  adecuado  los  contenidos. 


45-| 


Grafico  7 

Nivel  de  aprendizaje  alcanzado. 


Antonio  Pantoja  Vallejo  y Tomas  f.  Campoy  Aranda 


Item  8.  Modelos  de  evaluation  seguidos:  Tan  solo  el  24,9%  del  alumnado  se  mues- 
tra  satisfecho  con  los  modelos  de  evaluacion  utilizados  por  el  profesorado  que 
imparte  el  CAP.  El  grado  de  desacuerdo  es  algo  superior  en  las  mujeres  (53,8%) 
que  en  los  hombres  (48,2%).  Ciencias  Experimentales  y Ensenanzas  Tecnicas  tan 
solo  manifiestan  su  grado  de  acuerdo  con  el  modelo  de  evaluacion  en  torno  al 
18%. 

En  general  existe  un  rechazo  al  modelo  tradicional  de  examen,  inclinandose  por 
una  evaluacion  de  tipo  continua  y forma tiva  (trabajos,  cuestionarios,  etc.). 


Grafico  8 

Modelos  de  evaluation. 


Item  9.  Contenidos  del  CAP  que  preparan  para  el  ejercicio  de  la  docencia:  El  grado  de 
acuerdo  expresado  por  el  alumnado  con  relacion  a los  contenidos  impartidos  es 
un  23,6%.  Las  mujeres  manifiestan  un  mayor  grado  de  desacuerdo  (54,2%), 
especialmente  las  tituladas  de  Ensenanzas  Tecnicas  con  un  68,8%.  Existe  unani- 
midad  en  las  titulaciones  en  cuanto  al  bajo  nivel  de  aceptacion  de  los  conteni- 
dos. 

Una  parte  del  alumnado  opina  que  aunque  los  contenidos  son  demasiados 
teoricos,  pueden  servir  de  base  en  su  formacion  para  la  ensenanza.  Su  critica  se 
centra  en  la  descoordinacion  entre  la  formacion  teorica  y practica,  por  lo  que  no 
se  sienten  capacitados  para  reflexionar  sobre  su  preparacion  docente. 
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Grafico  9 

Contenidos  del  CAP. 


0 Item  10.  Bibliografia  adaptada  a los  planteamientos  de  las  distintas  materias:  Un 
porcentaje  inferior  a la  mitad  (40,3%)  esta  satisfecho  con  la  bibliografia  aportada 
por  el  profesorado  a lo  largo  del  curso.  Los  hombres  estan  mas  en  desacuerdo 
que  las  mujeres  respecto  al  nivel  de  adaptacion  bibliografica.  Ciencias  de  la 
Salud  y Ciencias  Experimentales  son  las  ramas  que  muestran  un  nivel  mas  alto 
de  acuerdo. 

No  ha  existido  un  criterio  unanime  a la  hora  de  aportar  la  bibliografia  al  alum- 
nado. 


Grafico  10 

Adaptation  bibliografica. 
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• Item  11:  Labor  desarrollada  por  el  profesorado:  La  mitad  del  alumnado  considera 
que  la  labor  del  profesorado  ha  sido  positiva  (49,5%).  Un  porcentaje  muy  redu- 
cido  se  manifiesta  en  contra  (15,7%).  No  se  aprecian  diferencias  por  sexos.  Los 
titulados  en  Ciencias  Sociales  y Juridicas  son  los  que  expresan  una  valoracion 
mas  alta  del  profesorado. 

Se  valora  positivamente  el  esfuerzo  del  profesorado,  a pesar  de  la  masificacion 
de  las  aulas  (grupos  de  100  alumnos)  y de  las  limitaciones  de  tiempo. 


Grafico  11 

Labor  desarrollada  por  el  profesorado. 


• Item  12.  Contribucion  de  los  trabajos  practicos  para  la  formacion  del  futuro  profesor: 
Un  porcentaje  inferior  a la  mitad  del  alumno  (44,2%)  se  declara  satisfecho  con  la 
realizacion  de  trabajos  practicos.  No  destaca  ningun  sexo  en  este  item.  La  rama 
de  Ciencias  de  la  Salud  muestra  un  alto  indice  de  acuerdo  (57,1%). 

El  alumnado  valora  de  forma  positiva  los  cuestionarios  utilizados  en  distintas 
materias  como  medio  para  interiorizar  y reflexionar  sobre  cuestiones  de  interes. 


i. 
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Grafico  12 
Trabajos  practicos. 

* Item  13.  Valoracion  global  del  CAP:  Unicamente  existe  un  2,6%  del  alumnado  que 
valora  muy  satisfactoriamente  el  Curso  de  Aptitud  Pedagogica.  No  hay  diferen- 
cias  por  sexos.  La  rama  que  muestra  menos  satisfaction  hacia  el  CAP  es  Huma- 
nidades  y Ciencias  de  la  Education  (44,9%). 

En  conjunto  encontramos  un  amplio  espectro  de  juicios  de  valor,  la  mayoria  de 
ellos  en  una  linea  de  claro  reproche  a la  administration  educativa  responsable  y 
al  sistema  educativo  en  general,  cargados  ambos  de  burocracia.  De  forma  prio- 
rizada  y ordenadas  en  positivas  y negativas,  se  exponen  a continuacion  las 
respuestas  mas  repetidas: 

Positivas: 

a)  Bien  como  informativo  y preparatorio  y como  introduction  al  mundo  de  la 
ensenanza. 

b)  Seria  preferible  un  CAP  mas  espetifico  por  materias  y campos  de  estudio. 

c)  Me  ha  servido  para  saber  como  se  encuentra  el  sistema  educativo. 


Negativas: 

a)  Excesivamente  teorico.  Seria  mas  interesante  que  existieran  mas  practicas. 

b)  Insuficiente  comparado  con  el  nivel  exigido  para  el  ejercicio  de  la  docencia. 

c)  Poco  tiempo  para  asimilar  excesivos  conceptos. 

d)  Una  desorganizacion  y una  perdida  de  tiempo. 

e)  Excesivos  profesores,  sobretodo  en  psicologfa. 

f)  Poca  relation  entre  las  ideas  expresadas  y los  efectos  practicos. 

g)  No  prepara  para  enfrentarse  al  trabajo  de  ser  profesor. 

h)  Excesiva  masificacion  en  las  aulas. 

i)  La  asistencia  obligatoria  provoca  rechazo. 

j)  Existe  solapamiento  entre  algunas  asignaturas. 
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□ Nada  satis. 

□ Satisfactory 
■ Muy  satisf. 


Grafico  13 

Valoracion  global  del  CAP. 


El  cuestionario  incluia  dos  items  de  tipo  cualitativo  con  la  finalidad  de  recoger 
informacion  a cerca  de  los  motivos  que  llevaron  al  alumno  a la  realizacion  del  CAP  y 
que  priorizaran  sus  necesidades  futuras  de  formacion: 

• iCuales  fueron  los  motivos  que  te  han  llevado  a la  realizacion  del  CAP?  Esta  pregunta 
tuvo  como  abanico  de  respuestas  las  que  aparecen  a continuacion  de  forma 
priorizada: 

1 . Para  realizar  oposiciones  a Secundaria. 

2.  Para  completar  mi  formacion. 

3.  Abrir  otros  caminos  o posibilidades  laborales. 

4.  Me  gusta  la  ensenartza. 

5.  Aumento  del  curriculum. 

6.  Para  coger  puntos  en  bolsas  para  formadores. 

7.  Preparacion  para  la  docencia. 

8.  Para  conocer  el  mundo  de  la  ensenanza. 

9.  Reciclaje. 

10.  Otros:  curiosidad,  cambiar  de  actitividad  laboral,  para  organizar  cursos, 
por  entretenerme,  por  si  me  hacia  falta,  para  ser  un  buen  profesor,... 

• Necesidades  futuras  de  formacion.  La  ultima  cuestion  incluida  en  el  cuestionario 
nos  ofrece  la  vision  en  orden  a su  importancia  del  profesorado  con  respecto  a 
los  temas  considerados  mas  importantes  en  relacion  a su  formacion: 

1.  Estrategias  de  aprendizaje. 

2.  Evaluacion. 

3.  Clima  de  aula. 

4.  Atencion  a la  diversidad. 
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5.  Action  tutorial. 

6.  Tecnicas  de  estudio. 

7.  Fracaso  escolar. 

8.  Organization  del  curriculum. 

9.  Organization  de  un  centro  de  Secundaria. 

10.  Legislation  sobre  Education  Secundaria. 

4.  CONCLUSION ES 

La  primera  conclusion,  que  ademas  podrfa  considerarse  desconcertante,  es  que  los 
profesores  de  Secundaria  no  realizan  propuestas  concretas  ni  ofrecen  pautas  de  apoyo 
sobre  las  lagunas  en  su  formation  y las  opciones  que  en  un  futuro  se  podrian  abordar 
desde  la  administration. 

El  profesorado  ha  intentado  superar  los  problemas  inherentes  a la  propia  estructu- 
ra  del  CAP  en  un  periodo  de  tiara  transition.  Consecuencia  de  esto  es  que  no  siempre 
ha  sido  posible  adecuar  los  contenidos  previstos  en  la  legislation  a las  nuevas  necesi- 
dades  de  formation  initial.  Esto  ha  podido  provocar  el  que  no  se  hayan  trasmitido  al 
alumnado  de  forma  clara  los  objetivos  y contenidos. 

Los  alumnos  manifiestan  que  el  grado  de  heterogeneidad  de  los  grupos  ha  impedi- 
do  una  mayor  calidad  en  la  docencia  impartida,  al  no  haber  sido  posible  atender  a la 
diversidad  formativa  de  las  titulaciones  de  procedencia.  El  alumnado  reconoce  el 
esfuerzo  realizado  por  el  profesorado  para  paliar  en  lo  posible  esta  situation. 

El  alumnado  del  CAP  manifiesta  su  disconformidad  con  la  metodologia  de  aula 
que  se  viene  utilizando.  Esto  nos  hace  pensar  que  la  misma  naturaleza  de  esta  forma- 
tion, distinta  a la  de  una  carrera  universitaria,  requiere  el  uso  de  metodologias  mas 
apropiadas  a las  finalidades  propias  del  curso.  Asf  por  ejemplo,  una  necesidad  mani- 
festada  por  alumnos  y profesores  es  trabajar  con  grupos  menos  numerosos  que  los 
actuates  y disponer  de  aulas  que  permitan  metodologia  mas  activas  y participativas, 
asi  como  otras  formas  de  organization. 

Los  creditos  asignados  para  el  desarrollo  de  los  distintos  modulos  no  ha  sido 
suficiente  para  cubrir  las  necesidades  formativas.  Asimismo,  el  caracter  intensivo  de  la 
imparticion  del  curso  no  ha  propiciado  un  ritmo  adecuado  para  la  asimilacion  de  los 
contenidos. 

Existe  un  rechazo  generalizado  con  relation  al  modelo  traditional  de  evaluation 
aplicado,  lo  que  reafirma  que  no  solo  se  deben  incorporar  nuevas  metodologias,  sino 
formas  renovadas  de  evaluation  con  un  caracter  mas  continuo  y formativo. 

El  alumnado  rechaza  los  contenidos  impartidos  en  los  distintos  modulos  por  no 
contribuir  a una  formation  que  les  permita  afrontar  la  practica  docente  en  las  aulas. 

Con  relation  a la  preparation  para  la  docencia  los  alumnos  manifiestan  que  no  hay 
una  articulation  entre  la  teoria  y la  practica,  que  se  refleja  en  lo  siguiente:  por  un  lado, 
el  aprendizaje  adquirido  no  tiene  un  caracter  efectivo,  ya  que  no  desemboca  en  el 
dominio  de  competencias  mas  complejas  indispensables  para  enfrentarse  a las  situa- 
ciones  educativas  reales;  por  otro,  los  contenidos  de  los  diferentes  modulos  aparecen 
descontextualizados  al  no  tener  un  reflejo  en  la  fase  de  «practicum». 
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En  smtesis,  se  puede  afirmar  que  a nivel  global  solo  un  pequeno  porcentaje  del 
alumnado  (2,6%)  se  muestra  muy  satisfecho  con  las  ensenanzas  recibidas  en  el  CAP, 
no  obstante,  a pesar  de  las  deficiencias  detectadas,  el  alumnado  expresa  su  satisfaccion 
por  la  labor  desarrollada  por  el  profesorado  (84,3%),  que  ha  intentando  en  todo 
momento  superar  las  dificultades  encontradas. 

Existe  una  cultura  muy  extendida  entre  el  alumnado  de  rechazo  hacia  el  CAP,  que 
se  puede  resumir  en  la  siguiente  frase,  recogida  de  forma  generalizada  en  los  cuestio- 
narios:  «E1  CAP  es  un  titulo  que  te  piden,  pero  que  no  te  capacita  realmente  para  nada 
y que  la  gente  no  se  toma  en  serio.  Es  un  mero  tramite». 

Con  relacion  a las  necesidades  formativas  del  alumnado  del  CAP,  existe  una  ten- 
dencia  hacia  aquellas  habilidades  y competencias  que  le  facultan  para  la  practica 
diaria  en  el  aula,  frente  a otras  actividades  de  tipo  organizativo. 

Del  CAP  al  CCP 

Todas  las  precariedades  presen tes  en  la  concepcion  y desarrollo  practico  del  CAP 
puestas  de  manifiesto  en  nuestra  investigacion,  fueron  ya  evidenciadas  en  la  concep- 
cion misma  de  la  LOGSE,  que  exigia  exclusivamente  la  posesion  de  un  titulo  profesio- 
nal  de  especializacion  didactica  para  poder  impartir  clase  en  Educacion  Secundaria.  El 
ya  citado  Real  Decreto  1692/1995  de  20  de  octubre  de  1995  regula  el  denominado 
Curso  de  Cualificacion  Pedagogica  (CCP),  sustituto  del  CAP,  y se  completa  con  la 
Orden  de  26  de  abril  de  1996. 

En  el  preambulo  del  Real  Decreto  queda  clara  la  intencion  del  CCP  en  el  sentido 
de  que  «debe  proporcionar  al  futuro  profesorado  de  la  educacion  secundaria  la 
formacion  psicopedagogica  y didactica  inicial  necesaria  para  acometer  las  tareas 
propias  de  la  funcion  docente  de  acuerdo  con  los  principios  y fines  establecidos  en  la 
LOGSE».  Ademas  se  perfilan  tres  grandes  consecuencias:  de  un  lado  la  vinculacion 
de  estas  ensenanzas  a la  universidad,  de  otro  la  vinculacion  de  esta  formacion  inicial 
con  los  institutos  de  secundaria  y,  por  ultimo,  la  relacion  entre  la  formacion  inicial 
de  los  profesores  de  formacion  profesional  especifica  a los  diversos  sectores  produc- 
tivos. 

-Antes  de  entrar  a analizar  las  virtudes  y carencias  de  esta  normativa,  hay  un  detalle 
que,  de  entrada,  llama  la  atencion,  y es  que  se  obliga  a las  administraciones  educativas 
a llevar  a la  practica  estas  nuevas  ensenanzas  antes  del  curso  96/97,  lo  cual  evidencia 
en  la  fecha  que  estamos  que  existe  un  cierto  retraso  en  la  aplicacion  de  la  ley  — al 
menos  en  Andalucia — , lo  que  hace  traslucir  la  complejidad  que  el  mismo  cambio  en  la 
concepcion  del  CCP  lleva  implicita,  tal  y como  veremos  a continuacion.  En  cualquier 
caso,  el  articulo  3 de  la  disposicion  adicional  primera  del  citado  real  decreto,  obliga  a 
la  generalizacion  de  estas  ensenanzas  a partir  del  curso  1999/2000. 

La  duration  de  estas  ensenanzas  de  un  curso  academico  o el  hecho  de  que  se 
organicen  las  clases  en  teoricas  y practicas  son  dos  aspectos  que  no  tienen  nada  de 
novedosos.  Sin  embargo  al  comprobar  la  distribution  de  los  60  a 75  creditos  que  dura 
el  CCP,  apreciamos  diferencias  claramente  significativas  y diferenciadoras  de  su  ante- 
cesor  CAP: 
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• Ensenanzas  teorico-practicas  generales  entre  19  y 23  creditos. 

• Ensenanzas  teorico-practicas  espedficas  entre  16  y 20  creditos. 

• Ensenanzas  teorico-practicas  optativas  entre  5 y 7 creditos. 

• «Practicum»  entre  20  y 25  creditos,  de  los  que  al  menos  10  seran  de  docencia 
tutorizada. 

Esta  distribucion  de  creditos  no  abarca  a los  profesores  tecnicos  de  formacion 
profesional,  que  como  novedad  anadida  del  CCP,  tienen  un  tratamiento  diferenciado. 
Asi,  su  carga  lectiva  estara  entre  35  y 40  creditos,  las  ensenanzas  generales  entre  10  y 
12  creditos,  las  espedficas  entre  8 y 10  creditos,  las  optativas  entre  3 y 5 creditos  y el 
«practicum»  entre  11  y 13  creditos,  de  los  que  6 seran  de  docencia  tutorizada.  Aunque 
la  normativa  no  lo  aclara,  pensamos  que  esta  menor  exigencia  horaria  es  debida  a que 
el  volumen  de  materias  que  estos  profesores  impartiran  en  la  Educacion  Secundaria  es 
menor  y de  contenido  especializado. 

Resulta  altamente  significativa  la  distribucion  anterior  por  cuanto  diferencia  el 
curriculum  a impartir  en  tres  grandes  bloques,  que  posibilitan  la  adaptacion  a la 
naturaleza  de  cada  carrera:  general,  especifico  y optativo.  Precisamente,  es  esta  con- 
crecion  a cada  situation  personal,  lo  que  nos  parece  mas  novedoso  en  la  nueva  norma- 
tiva, por  cuanto  se  propicia  una  formacion  diversificada  en  funcion  de  las  carreras  de 
origen  y de  acuerdo  con  las  salidas  profesionales  de  cada  una  de  ellas. 

Otro  aspecto  novedoso  es  la  creation  de  la  figura  del  profesor  de  Educacion  Secun- 
daria asociado  a la  universidad,  que  se  incorporara  a los  departamentos  y participara 
en  la  imparticion  de  las  materias  obligatorias  especificas  del  bloque  de  ensenanzas 
teorico-practicas  y en  la  coordination  del  «practicum».  Junto  a este  profesorado  existi- 
ran  los  tutores  del  «practicum»,  que  atenderan  a dos  alumnos  simultaneamente,  emi- 
tiendo  finalmente  un  informe  en  relation  al  trabajo  desarrollado. 

La  masificacion  existente  en  las  aulas  del  CAP  se  mejora  en  la  normativa  que 
venimos  comentando  reduciendo  los  grupos  a un  maximo  de  cincuenta  alumnos. 

La  importancia  dada  a la  parte  practica  del  CCP  queda  patente  en  la  valoracion 
global  del  «practicum»  del  50%  de  la  puntuacion  final. 

Por  ultimo,  nos  referiremos  a las  especialidades  y a los  nucleos  formativos  y de 
contenido  que  sustituyen  a los  antiguos  modulos  del  CAP.  Por  un  lado,  se  determinan 
un  amplio  numero  de  especialidades  para  organizar  el  CCP,  lo  que  favorece  la  ade- 
cuacion  de  los  contenidos  a las  distintas  titulaciones  de  origen  del  alumnado.  De  otro 
se  vertebran  las  materias  obligatorias  generales  y las  especificas.  Entre  las  primeras 
destaca  diseno  y desarrollo  del  curriculo,  organization  escolar,  psicologia  del  desarro- 
llo  y la  educacion,  sociologia  de  la  educacion  y teoria  e instituciones  contemporaneas 
de  educacion,  atencion  a la  diversidad,  alumnos  con  necesidades  educativas  especia- 
les  y tutoria  y orientation  educativa.  Con  esta  distribucion  de  contenidos  se  rellenan 
bastantes  huecos  existentes  en  la  anterior  configuracion  del  CAP.  En  cuanto  a las 
materias  obligatorias  especificas,  podemos  destacar  las  didacticas  de  cada  area  curri- 
cular y otras  materias  o modulos  correspondientes  a la  especialidad  del  alumnado.  Es 
curioso,  que  en  ninguna  de  las  normativas  citadas  aparezca  mencion  alguna  a las 
materias  optativas,  que  como  ha  sido  dicho  tendran  una  carga  lectiva  entre  5 y 7 
creditos. 
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Situacion  actual 

Resulta  dificil  senalar  con  claridad  la  situacion  en  la  que  se  encuentra  la  formacion 
inicial  del  profesorado  de  Secundaria  en  estos  momentos,  sobretodo  si  pretendemos 
enmarcarla  en  una  direction  distinta  a la  que  ha  venido  siendo  la  habitual  en  los 
ultimos  anos.  La  indiferencia  de  la  administracion  educativa  ha  provocado  que  el  Real 
Decreto  1692/1995  caduque  antes  de  ponerlo  en  funcionamiento  y exigir  su  cumpli- 
miento  a las  CCAA  con  competencias  educativas.  Y es  que  decimos  esto  porque  el 
MEC  ha  distribuido  recientemente  el  borrador  de  un  nuevo  Real  Decreto  que  modifica 
sustancialmente  el  anterior.  Mientras  tanto,  se  ha  ido  produciendo  un  cierto  caos 
organizativo,  de  forma  que  algunas  universidades  como  la  de  Barcelona  o la  de  La 
Laguna  han  ofertado  ya  el  nuevo  CCP  regulado  en  el  Real  Decreto  que  se  va  a 
modificar,  mientras  que  otras  — las  mas — han  seguido  impartiendo  el  obsoleto  CAP, 
sin  que  exista  una  minima  autocritica  al  sistema,  ni  se  ofrezcan  unas  pautas  de  trabajo 
futuro  en  funcion  de  la  larguisima  experiencia  acumulada  con  el  paso  de  los  anos,  ni 
se  tenga  en  cuenta  la  opinion  del  profesorado  que  imparte  esta  docencia. 

Nos  referiremos,  aunque  solo  sea  brevemente,  a las  novedades  que  ofrece  este 
borrador,  aun  sabiendo  que  muchas  de  ellas  pueden  ser  modificadas  en  su  redaccion 
definitiva. 

Lo  primero  que  destaca  en  este  borrador  es  la  intention  de  la  administracion 
educativa  de  retrasar  la  puesta  en  marcha  del  CCP,  que  no  tendria  caracter  generaliza- 
do  hasta  el  curso  2001  / 2002,  pervi viendo  hasta  esta  fecha  el  antiguo  CAP.  Parece  ser 
que  existe  una  complejidad  que  escapa  a nuestra  perspectiva,  que  impide  que  las 
ensenanzas  conducentes  a la  obtencion  del  Titulo  Profesional  de  Especializacion  Di- 
dactica  (TPED)  entren  en  vigor  de  forma  inmediata.  Esto  explicaria  las  prolongadas 
demoras. 

En  el  preambulo  destaca  la  inquietud  de  la  administracion  por  «atender  a los 
alumnos  de  diferentes  culturas  y etnias,  alumnos  con  necesidades  educativas  especia- 
les  asi  como  atender  a la  diversidad  en  el  piano  del  diferente  nivel  de  capacidad 
intelectual  de  los  alumnos  para  que  todos  puedan  avanzar  aun  mas  a pesar  de  sus 
distintas  caracteristicas  personales  e intelectuales...». 

La  nueva  redaccion  del  articulo  3 ofrece  unos  matices  novedosos  e,  incluso,  arries- 
gados.  Es  precisamente  por  considerar  que  el  TPED  se  puede  obtener  por  la  via 
normal  de  realization  y superacion  del  CCP  y por  una  segunda  via,  que  incluso  se 
coloca  en  primer  lugar,  que  seria  mediante  asignaturas  optativas  y/o  de  libre  configu- 
ration de  los  planes  de  estudios  correspondientes.  Desconocemos  si  estas  asignaturas 
seran  de  nueva  creacion  o mediante  remodelacion  de  algunas  ya  existentes.  Matiza- 
mos  ahora  lo  de  arriesgado  de  este  nueva  perspectiva  (apuntada  ya  por  autores  como 
Esteve,  1997),  en  el  sentido  de  la  problematica  que  encerraria  llenar  las  clases  de  un 
alumnado  variopinto,  que  lejos  de  enriquecer  la  multiculturalidad  de  las  mismas 
puede  crear  no  pocos  problemas  al  profesorado  para  aunar  posturas,  intereses  y 
motivaciones  del  alumnado  especifico  de  la  titulacion  y los  provenientes  de  las  multi- 
ples carreras  que  opten  a la  obtencion  del  TPED  por  esta  via.  Distinto  seria  — podria 
ser  el  caso — que  la  nueva  perspectiva  contemplase  la  creacion  de  nuevas  asignaturas 
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adaptadas  al  curriculum  contemplado  en  el  anexo  II  del  nuevo  Real  Decreto,  que 
dicho  sea  de  paso,  encierra  grandes  novedades  en  lo  que  se  refiere  a las  materias 
comunes  de  las  ensenanzas  teorico-practicas.  Principalmente  destaca  una  mejor  deli- 
mitation de  los  bloques  y la  inclusion  de  uno  totalmente  nuevo  dedicado  a Nuevas 
Tecnologias,  lo  que  provoca  que  se  pase  de  cuatro  bloques  a cinco,  lo  que  lleva  a pasar 
de  dieciseis  creditos  a veinte.  No  obstante,  se  echa  en  falta  un  modulo  dedicado  a la 
initiation  en  la  investigacion  educativa  y una  mayor  potentiation  de  la  formacion 
inicial  del  profesor  en  orientation  y tutoria. 

El  articulo  4 en  su  apartado  3 parece  que  aclara  el  extremo  anteriormente  apuntado 
de  la  opcionalidad  y la  libre  configuracion  y deja  en  manos  de  cada  universidad  la 
inclusion  de  las  ensenanzas  del  CCP  en  los  planes  de  estudio.  Otro  tema  distinto  es 
que  departamentos  o areas  de  conocimiento  se  hacen  cargo  de  cada  bloque  de  las 
ensenanzas  teorico-practicas. 

Otra  novedad  incluida  en  el  articulo  8 es  la  obligation  del  alurnno  de  realizar  un 
Proyecto  de  Fin  de  Curso,  que  suponga  una  mejora  para  el  funcionamiento  del  Depar- 
tamento  Didactico  o para  el  centro  en  el  que  se  realiza  el  CCP. 

Tambien  cabe  destacar  en  este  apretado  repaso  del  borrador  una  mejor  concretion 
de  las  materias  optativas,  que  echabamos  en  falta  en  el  todavia  vigente  Real  Decreto 
1692/1995. 

Por  ultimo,  hay  que  senalar  la  reciente  aparicion  del  Real  Decreto  321/2000  de  3 de 
marzo  (BOE  del  4),  que  modifica  el  Real  Decreto  1692/1995.  Este  nuevo  Decreto  solo 
recoge  las  propuestas  de  actualization  del  calendario  de  aplicacion  comentado  ante- 
riormente. 

;Cual  es  el  futuro  de  la  formacion  inicial  del  profesorado  de  secundaria? 

Nuestra  postura  personal  pasa  necesariamente  por  aunar  las  distintas  perspectivas 
aportadas  por  la  investigacion,  el  contraste  con  la  iniciativa  institucional  y nuestra 
propia  experiencia  como  profesores  del  CAP.  Existen  claramente  dos  grandes  opcio- 
nes  para  obtener  el  TPED: 

a)  Mediante  asignaturas  optativas  o de  libre  configuracion:  Sobre  esta  posibilidad  hay 
que  matizar  la  importancia  que  tiene  que  sean  materias  creadas  por  cada 
universidad  expresamente  para  asumir  esta  funcion  y que  no  deberan  perte- 
necer  a ninguna  titulacion,  aunque  si  se  adscribiran  a un  area  concreta  de 
conocimiento. 

b)  La  realizacion  del  CCP  en  un  sentido  similar  al  expresado  en  el  borrador  de  Real 
Decreto,  que  sustituye  parcialmente  al  Real  Decreto  1692/1995.  Esta  organiza- 
tion queda  reflejada  en  el  siguiente  grafico. 
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A partir  de  la  linea  de  puntos  sugerimos  la  inclusion  de  una  serie  de  aspectos  que 
tendrian  incidencia  en  ambas  posiciones  senaladas  anteriormente,  teniendo  en  cuenta 
que  el  «practicum»  serfa  identico  para  las  dos  vfas  de  acceso  al  TPED.  Comentaremos 
de  forma  sucinta  cada  uno  de  ellos: 

• Cur sos  espetificos  deformation  en  los  primeros  anos  de  docencia  — especialmente 
en  el  primero — dirigidos  de  forma  sectorizada  y por  especialidades,  que  ade- 
mas  deberan  contemplar  un  seguimiento  de  la  proyeccion  practica  de  los  cono- 

- cimientos  adquiridos.  Nos  inclinamos  por  un  mayor  numero  de  cursos  de  fun- 
damentacion  psicopedagogica  frente  a los  propios  de  la  especializacion  didacti- 
ca  del  profesor.  Se  trata  de  una  responsabilidad  que  recae  exclusivamente  sobre 
la  administracion  educativa. 

• Realizacion  de  un  proyecto  docente  sobre  la  especialidad  del  alumno  y de  una 
memoria  de  su  actividad  en  el  practicum.  Ambos  instrumentos  pueden  situarse 
en  un  nivel  mas  avanzado  que  el  Proyecto  de  Fin  de  Curso  contemplado  en  el 
borrador  que  comentamos  anteriormente. 

• Tutorizacion  del  primer  ano  de  docencia  o realizacion  de  una  fase  practica,  que 
podria  durar  el  primer  ano  de  trabajo  una  vez  superada  la  fase  de  oposicion.  En 
aquellos  casos  que  el  alumno  acceda  a la  Educacion  Secundaria  mediante  un 
contrato  de  interinidad  tambien  tendrfa  que  preverse  un  sistema  de  tutoriza- 
cion. 
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Concrecion  de  nuestras  propuestas 

De  las  reflexiones  procedentes  de  los  anteriores  apartados  extraemos  las  siguientes 
propuestas  que  exponemos  a continuation  dirigidas  a cada  uno  de  los  sectores  impli- 
cados  en  la  preparacion  multidisciplinar  del  profesor  de  Educacion  Secundaria: 

• A la  Administration  Educativa  del  Estado  o de  la  Comunidad  Autonoma: 

• Coordinar  las  actuaciones  de  las  distintas  universidades. 

• Propiciar  un  cambio  del  modelo  de  oposicion  por  otro  mas  practico  y mas 
adecuado  a las  nuevas  necesidades  del  sistema  educativo. 

• Continuar  la  tutorizacion  del  profesor  una  vez  inicie  su  trabajo  real  durante  un 
primer  ano  de  practicas  en  los  centros. 

• La  prevision  de  cursos  de  formacion  continua  que  cubran  el  amplio  abanico 
formativo  del  profesorado  de  Educacion  Secundaria,  que  lejos  de  terminar  con 
la  consecution  del  TPED,  no  hace  mas  que  empezar.  Se  tratarfa  de  que  el 
profesorado  fuese  configurando  su  carrera  profesional. 

• En  sucesivas  evaluaciones  de  las  vfas  de  acceso  y de  los  contenidos  que  posibi- 
litan  el  TPED,  se  podria  considerar  la  ampliation  del  curriculum  con  contenidos 
mas  cercanos  a la  relation  con  el  alumno  y la  orientation  academica  y personal, 
que  permitan  una  mejor  preparacion  del  profesorado  para  hacer  frente  a la 
tutoria  de  alumnos  y de  padres,  asf  como  en  tareas  orientadoras  mas  adecuadas 
a las  funciones  del  tutor  recogidas  en  los  distintos  decretos. 

• Igualmente,  consideramos  imprescindible  que  la  investigation  educativa,  mate- 
ria basica  en  la  formacion  de  cada  docente,  se  incluya  en  nuevas  revisiones  de 
los  contenidos. 

• A la  universidad,  departamento  o area  de  conocimiento: 

• Unificar  los  criterios  metodologicos  de  las  distintas  asignaturas  con  el  fin  de 
conseguir  un  cuerpo  solido  y coherente,  tal  y como  es  caracteristico  de  cada 
curso. 

• Realizar  cursos  de  formacion  de  formadores  dentro  de  la  misma  universidad  y 
seleccionar  el  profesorado  que  impartira  las  asignaturas  optativas  o de  libre 
configuracion  y del  CCP. 

• Es  imprescindible  que  exista  un  profesorado  estable  y con  experiencia  dedicado 
al  CCP. 

• Conectar  y evaluar  de  forma  consecuente  las  clases  teoricas-practicas  con  el 
«practicum»,  de  forma  que  la  evaluation  basada  en  el  modelo  reflexion-accion 
proporcione  information  que  revierta  en  la  mejora  permanente  del  modelo 
formativo. 

• Adscripcion  de  cada  materia  a un  area  dentro  de  los  departamentos  de  Pedago- 
gia  y Psicologia  de  las  universidades,  lo  cual  permitiria  procesos  de  autoevalua- 
cion  y seguimiento  de  la  docencia  impartida. 

• Reconocer  al  profesorado  la  docencia  impartida  en  las  asignaturas  de  libre 
configuracion  y optativas  y del  CCP  como  ensenanza  reglada. 

• Organizar  unas  jomadas  de  acogida  en  las  que  se  informe  al  alumnado  interesa- 
do  sobre  la  forma  de  conseguir  el  TPED.  Estas  jomadas  servirian  de  punto  de 
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encuentro  entre  alumnos  y profesores  y entre  profesores,  tanto  de  universidad 
como  de  secundaria. 

® Al  alumnado: 

• Decidir  al  iniciar  su  formacion  en  la  titulacion  elegida  su  option  por  la  educa- 
tion, con  la  finalidad  de  ir  configurando  su  curriculum  sin  prisas  y tomar 
conciencia  de  las  diferencias  existentes  entre  el  trabajo  propio  de  su  area  de 
conocimiento  y la  educacion  de  alumnos  de  Educacion  Secundaria. 

• Tomar  conciencia  intelectual  y eticamente  de  la  importancia  de  su  formacion 
inicial,  tanto  en  cuanto  trabajara  para  mejorar  los  contextos  practicos. 

• Al  profesorado: 

• Facilitar  al  alumnado  antes  del  inicio  del  curso  el  programa  con  los  objetivos  y 
contenidos  especificos  de  cada  bloque  o materia. 

• Establecer  un  tipo  de  metodologia  de  aula  de  tipo  critico-reflexivo,  que  propicie 
la  participation  del  alumnado. 

Terminamos  con  una  ultima  aportacion,  que  no  es  otra  que  la  revindication  de  la 
orientation  educativa  como  la  Have  que  puede  posibilitar  que  el  profesorado  que 
finalmente  se  dedique  a la  tarea  de  educar  sea  el  mas  adecuado  y preparado.  En  tal 
sentido,  tendra  en  un  futuro  cercano  un  peso  especffico  — de  hecho  lo  esta  teniendo  ya 
en  muchas  universidades  espanolas — el  Servicio  de  Orientation  Educativa  integrado 
en  la  misma  estructura  universitaria,  que,  entre  otras  funciones,  podra  asesorar  e 
informar  a los  recien  llegados  alumnos  de  las  diversas  titulaciones  sobre  la  salida 
profesional  en  el  ambito  educativo  y sus  peculiaridades  intrfnsecas. 
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RESUMEN 

Este  articulo  expone  los  aspectos  fundamentales  tanto  a nivel  teorico  como  metodologico  y 
las  conclusiones  mas  relevan tes  sobre  la  Evaluacion  de  un  Programa  de  Iniciacion  a las 
Matematicas  basado  en  la  Resolucion  de  Problemas  para  ninos  del  Primer  Ciclo  de  Educacion 
Primaria.  La  Evaluacion  del  Programa  se  ha  realizado  atendiendo  a diferentes  dimensiones 
evaluativas.  Nos  hemos  centrado  en  la  evaluacion  de  los  procesos  de  implementacion  del 
proceso  resolutor  a traves  del  Esquema  Lingiiistico  de  Interaccion  (E.L.I.)  previsto  en  el  diseno 
del  programa  asi  como  en  los  resultados  o logros  fundamentales  que  se  han  alcanzado  durante 
su  desarrollo.  Para  la  evaluacion  del  proceso  resolutor  hemos  utilizado  una  escala  de  observa- 
cion  tipo  lista  de  control;  la  evaluacion  de  los  resultados  se  ha  realizado  a partir  de  la  elabora- 
cion  de  cinco  pruebas  de  rendimiento  teniendo  como  referentes  evaluativos  los  objetivos  del 
programa  en  las  distintas  areas  curriculares  del  mismo.  Finalmente,  esta  investigacion  evalua- 
tiva,  se  aborda  desde  la  percepcion  que  sobre  el  programa  han  tenido  los  que  lo  han  desarrollado 
considerando  que  ha  aportado  a ellos  el  programa  como  docentes  y a los  alumnos  que  lo  han 
recibido.  Los  resultados  obtenidos  sehalan  la  aportacion  del  programa  como  herramienta  con- 
ceptual, la  estimacion  de  ciertos  indicadores  cualitativos  de  caracter  actitudinal,  organizativo  y 


* Av.  San  Francisco  Javier,  s/n.  41005-  Sevilla.  E-mail  tgonzale@cica.es 


176 


Teresa  Gonzalez  Ramirez 


social  realizados  por  los  profesores  cjue  lo  han  impartido  asi  como  un  cambio  de  actitud  ante  la 
ensefianza  de  las  matematicas. 

Palabras  claves:  investigation  evaluativa,  education  matemdtica,  resolution  de  proble- 
mas,  education  primaria,  lenguaje  matematico. 

ABSTRACT 

This  article  shows  the  fundamental  aspects  at  both  a theoretical  and  methodological  level  of 
and  the  most  relevant  conclusions  concerning,  the  Evaluation  of  an  Initiation  Programme  of 
Mathematics  based  upon  problem  solving  for  children  at  the  first  stage  of  Primary  Education. 
The  evaluation  of  this  programme  has  been  carried  out  taking  into  consideration  different 
evaluative  dimensions.  We  have  concentrated  on  the  evaluation  of  the  process  through  the 
Interaction  Linguistic  Scheme  (I.L.S)  provided  in  the  programme  design  as  well  as  in  the 
essential  results  and  goals  reached  in  its  development.  We  have  used  an  observation  scale  of  the 
check  list  type  for  the  evaluation  of  the  resolving  process.  The  evaluation  of  the  results  has  been 
carried  out  from  the  elaboration  of  five  performance  tests  taking  as  evaluative  referents  the 
objectives  of  the  programme  within  the  different  curriculum  areas  of  the  very  same  programme. 
Finally,  this  evaluative  investigation  deals  with  the  perception  that  those  that  developed  it  have 
over  the  programme,  considering  what  the  programme  has  given  them  us  teachers  and  to  the 
students  who  have  received  it.  The  results  obtained  signal  the  use  of  the  programme  as  a 
conceptual  tool,  the  estimation  of  certain  qualitative  indicators  of  attitudinal,  organising,  and 
social  character  carried  out  by  the  professors  who  have  taught  these  classes  as  well  as  a change 
of  attitude  towards  teaching  mathematics. 

Key  words:  evaluative  investigation,  mathematics  education,  problem  solving,  primary 
education,  mathematical  language. 


MARCO  TEORICO  DE  LA  INVESTIGACION 

La  ensenanza  de  las  matematicas  constituye  un  campo  de  enorme  interes  cientifico. 
La  sociedad  actual,  reclama  el  tener  conocimientos  matematicos,  resulta  dificil  encon- 
trar  parcelas  del  conocimiento  en  las  que  las  matematicas  no  hayan  penetrado.  Estu- 
dios  realizados  (Lapointe,  Mead  y Philips,  1989)  muestran  como  la  mayoria  de  las 
personas  que  no  alcanzan  el  nivel  de  alfabetizacion  minimo  como  para  desenvolverse 
en  una  sociedad  moderna,  encuentran  las  matematicas  aburridas  y dificiles  y se  sien- 
ten  inseguras  a la  hora  de  resolver  problemas  aritmeticos  sencillos;  por  otra  parte,  el 
tener  conocimientos  matematicos  se  convierte  en  un  importante  filtro  selectivo  del 
sistema  educativo.  Esta  situacion  plantea  la  necesidad  de  que,  en  la  actualidad,  los 
estudios  en  educacion  matematica  se  centren  en  la  creacion  y desarrollo  de  estructuras 
didacticas  formales  que  hagan  mas  transparente  el  nexo  de  union  entre  la  cultura 
matematica  experienciada  por  el  nino  antes  del  inicio  de  su  escolaridad  obligatoria  y 
el  conocimiento  matematico  de  caracter  formal  que  transmite  la  escuela.  Los  trabajos 
provenientes  de  la  investigacion  transcultural,  (Saxe,  Guberman  and  Gearthart,  1993; 
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Rogoff  and  Lave,  1995)  ponen  de  manifiesto  como  la  competencia  matematica  es  un 
proceso  cognitivo  mediado  por  el  tipo  de  actividad  que  desarrolla  el  sujeto  (formal,  no  formal). 

De  acuerdo  a estos  referentes,  los  topicos  que,  en  la  actualidad  son  importantes 
desentranar  desde  el  status  cientffico  de  la  didactica  de  las  matematicas  son  los  que 
mostramos  en  la  figura  siguiente: 


Figura  1 

Referentes  tedricos  que  confluyen  en  la  educacion  matematica  en  la  actualidad. 

La  comprension  completa  y profunda  de  los  conceptos  fundamentales  de  una 
disciplina  necesita  del  conocimiento  de  su  historia,  ya  que  esta  pone  de  manifiesto  el 
proceso  dinamico  de  la  actividad  cientffica  como  desarrollo  permanentemente  abierto, 
despertando  en  el  sujeto  que  aprende  unas  actitudes  y sobre  todo  unos  habitos  meto- 
dologicos  acordes  con  el  metodo  cientffico;  de  ahf  de  la  necesidad  de  partir  de  la  evolucion 
historico-epistemologica  de  la  matematica  como  ciencia  (Gonzalez  Urbaneja,  1991).  La  histo- 
ria de  la  matematica  es  un  instrumento  cultural  que  enriquece  la  ensenanza  de  la 
misma.  Este  acercamiento  a la  historia  de  la  matematica  como  ciencia  nos  dice  que  la 
evidencia  intuitiva  es  la  base  de  la  aceptacion  de  los  conceptos,  que  las  formulaciones 
de  cariz  informal  e intuitivo  preceden  a la  matematica  exacta  y formalizada  y actuan 
como  base  para  la  misma;  sin  embargo,  esta  trayectoria  no  es  la  que  ha  marcado  la 
forma  de  ensenarla.  La  ensenanza  de  la  matematica  esta  apoderada  de  una  fuerte 
tendencia  logico-deductiva  (Kline,  1978).  Esa  tendencia  de  caracter  logico-deductiva 
ha  impregnado  al  conocimiento  matematico  de  una  serie  de  caracterfsticas  (conoci- 
miento formalizado,  de  naturaleza  estrictamente  abstracta,  vinculado  a un  lenguaje 
muy  especffico  y con  propiedades  que  lo  separan  estructuralmente  de  los  enfoques 
naturales,  etc.)  que  no  responde  al  caracter  dinamico  y evolutivo  que  la  perspectiva 
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historica  senala  y contradice  resultados  obtenidos  en  trabajos  de  investigation  con 
relacion  al  desarrollo  del  conocimiento  matematico.  Estos  trabajos  (Masingila,  1996;  Lopes 
y Costa,  1996)  consideran  que,  en  muchos  aspectos,  el  desarrollo  matematico  de  los 
ninos  corre  de  forma  paralela  al  desarrollo  historico  de  la  matematica:  el  conocimiento 
impreciso  y concreto  de  los  ninos  se  va  haciendo  cada  vez  mas  preciso  y abstracto. 
Segun  Baroody  (1994)  el  proceso  sucede  de  la  siguiente  forma:  conocimiento  intuitivo, 
conocimiento  informal  y conocimiento  formal. 

En  la  conjuncion  de  estos  dos  elementos,  ique  ha  aportado  la  psicologia  como  ciencia  al 
estudio  de  como  se  construyen  los  procesos  de  represent acion  en  el  niho?  La  evolucion 
paradigmatica  de  la  psicologia  como  ciencia  ha  impregnado  nuestro  objeto  de  conoci- 
miento de  una  serie  de  caracteristicas  (caracter  sintactico,  semantico,  lingiiistico,  etc.) 
que  despues  han  tenido  un  caracter  prescriptivo  sobre  una  teoria  general  del  aprendi- 
zaje  (en  este  caso  matematico).  Las  aportaciones  que,  por  ejemplo,  desde  la  psicologia 
cognitiva  en  sus  distintas  acepciones  se  han  realizado  polarizan  por  un  lado,  los 
planteamientos  teoricos,  que  siguiendo  a Vygotski  postulan  que  el  conocimiento  tiene 
un  origen  eminentemente  social  y comunicativo  y los  teoricos  que  como  Piaget  situan 
el  origen  en  el  proceso  mental  interno  del  sujeto.  Esta  polarizacion  establece  grandes 
diferencias  sobre  una  posible  teoria  del  aprendizaje  y en  consecuencia  establece  dife- 
rencias  substanciales  al  abordar  didacticamente  la  ensenanza  de  las  matematicas.  De 
ahi  que  desde  los  estudios  que  profundizan  en  la  naturaleza  de  los  procesos  de 
representation  en  el  niho  sea  importante  construir  una  teoria  del  aprendizaje  que  nos 
permita  crear  estructuras  formales  que  hagan  mas  plausible  el  acercamiento  al  objeto 
de  conocimiento.  La  diddctica  de  las  matematicas  tiene  actualmente  el  reto  de  profundi- 
zar  en  la  creation  y desarrollo  de  estructuras  didacticas  formales  que  hagan  mas 
transparente  el  nexo  de  union  entre  representaciones  externas  e internas  (Maza,  1995). 
Las  aportaciones  realizadas  sobre  la  evolucion  historica  de  la  matematica  y el  camino 
que  habitualmente  sigue  el  niho  en  la  adquisicion  y aprendizaje  de  las  nociones 
matematicas  fundamentales  en  conjuncion  con  las  aportaciones  de  la  psicologia  de  la 
education,  nos  permite  construir  los  fundamentos  de  una  futura  didactica  de  las 
matematicas. 

Finalmente,  esta  presentation  quedaria  incompleta  si  no  abordaramos  que  aporta- 
ciones a nivel  empirico  se  han  realizado  al  campo  de  la  ensenanza  de  las  matematicas. 
Conocer  los  ambitos  sobre  los  que  se  investiga  es  un  reflejo  de  la  evolucion  de  esta 
disciplina.  La  revision  realizada  al  principio  de  los  noventa  por  Putnam  (1990)  refleja 
los  topicos  fundamentales  sobre  los  que  se  investiga.  Este  autor  plantea  como  funda- 
mentales: la  psicologia  cognitiva,  centrada  mas  en  el  estudio  de  los  procesos  cognitivos 
y en  la  importancia  de  considerar  la  ensenanza  de  las  matematicas  como  una  actividad 
generada  en  contextos  de  actividad  practica  social  y culturalmente  organizadas;  un 
segundo  ambito,  centrado  en  el  estudio  de  las  matematicas  como  disciplina,  cuyo  objeto 
es  delimitar  que  actividades  podrian  ser  consideradas  matematicas  y finalmente,  este 
autor  senala  el  estudio  de  las  matematicas  como  practica  docente,  centrada  en  las  diferen- 
cias de  conocimiento  entre  profesores  expertos  y noveles.  A estos  hay  que  anadir  otra 
linea  de  investigation  que  en  los  ultimos  anos  ha  despertado  un  gran  interes,  la 
matematica  como  resolucion  de  prohlemas,  desarrollando  una  serie  de  trabajos  que  pode- 
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mos  englobar  en  una  triple  vertiente:  a)  Variables  implicadas  en  la  resolucion  de 
problemas,  b)  Estrategias  en  la  resolucion  de  problemas  y c)  Didactica  de  la  resolucion 
de  problemas.  Una  revision  actualizada  realizada  por  Castro  (1995)  y Castro,  Rico  y 
Gil  (1992)  centrada  en  el  estudio  global  o parcial  de  las  tareas  de  resolucion  de 
problemas  aritmeticos  plantea  tambien  estas  corrientes  investigadoras. 

El  esbozo  de  estos  referentes  teoricos  constituyen  los  pilares  basicos  del  Programa 
de  Iniciacion  a las  Matematicas  evaluado.  La  especificidad  que  tanto  a nivel  teorico 
como  curricular  adquieren  en  el  diseno  del  mismo  las  presentaremos  en  el  siguiente 
epigrafe. 

BREVE  DESCR9PCION  DEL  PROGRAMA  DE  INICIACION  A LAS  MATEMATI- 
CAS 

En  este  apartado  presentaremos  una  vision  general  del  diseno  y estructura  del 
Programa  de  Iniciacion  a las  Matematicas  (PIMRP)  para  alumnos  del  Primer  Ciclo  de 
Educacion  Primaria  evaluado  de  forma  experimental.  Esta  descripcion  se  refiere,  so- 
bre  todo,  a los  aspectos  generales,  los  detalles  mas  concretos  pueden  consultarse  en 
Gonzalez  Ramirez  (1997). 

A nivel  teorico  se  nutre  de  los  pilares  fundamentals  de  la  Psicologia  Cognitiva  (en 
sus  distintas  acepciones);  en  su  genesis  participa  en  algunos  aspectos  de  la  teoria  del 
Procesamiento  de  la  Informacion,  sobre  todo  por  lo  que  esta  aporta  en  contraposicion 
al  enfoque  dualista  de  Descartes  y la  corriente  introspeccionista  (proveniente  de  la 
psicologia  freudiana)  y asociacionista  al  estudio  de  los  procesos  psicologicos  superio- 
rs. 

Esta  primera  idea  tomada  como  punto  de  partida  hicieron  que  su  autor  (Gonzalez 
del  Pino,  1911-1986)  se  adentrara  en  las  aportaciones  que  la  psicologia  sovietica,  reali- 
za  al  estudio  de  los  procesos  de  representacion  en  el  nino;  de  ahi  que  aparezcan  dentro 
de  sus  planteamientos  conceptos  claves  como  contexto  problematico,  problema,  reso- 
lucion de  problemas,  pensamiento  matematico,  esquema  lingiiistico  de  interaccion, 
matizados  y definidos  todos  ellos  por  los  supuestos  teoricos  basicos  del  enfoque 
dialectico-con  textual. 

Desde  una  perspectiva  curricular  el  programa  responde  a una  vision  teoricamente 
coherente  de  como  iniciarse  en  el  aprendizaje  de  las  matematicas;  se  enmarca  dentro 
del  ambito  de  la  Didactica  de  la  Matematica  que,  a inicios  de  la  decada  de  los  80  vino 
a denominarse  «Resolucion  de  Problemas».  La  finalidad  bdsica  del  programa  es  conducir 
de  acuerdo  al  perfil  evolutivo  del  nino,  con  relacion  a la  genesis  y desarrollo  del  conocimiento 
matematico,  la  construccion  del  pensamiento  matematico.  De  acuerdo  a esta  finalidad  el 
programa  adopta  una  estructura  curricular  basada  en  la  Resolucion  de  Problemas  que, 
a su  vez,  se  constituye  en  la  piedra  angular  del  mismo  siendo  al  mismo  tiempo  la 
herramienta  que  nos  permite  guiar  el  proceso  de  ensenanza-aprendizaje;  intrinseca- 
mente  aporta  una  Metodologia  para  la  Didactica  de  la  Resolucion  de  Problemas.  Esta 
metodologia  se  articula  en  tomo  al  Esquema  Lingiiistico  de  Interaccion  (E.L.I.).  El 
E.L.I.,  se  convierte  asi,  en  un  instrumento  mediador  basado  en  la  interaccion  social 
dentro  del  aula  y en  el  lenguaje,  como  herramienta  conceptual  que  nos  posibilita  partir 
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del  conocimiento  experienciado  por  el  alumno  antes  de  iniciarse  en  la  ensenanza 
obligatoria.  Cada  paso  del  Esquema  Lingufstico  de  Interaction  responde  a un  momen- 
to  del  proceso  resolutor  y nos  permite  conocer  los  procesos  de  representation  que  en 
el  nino  se  estan  generando. 

La  Tabla  I recoge  como  se  desarrolla  la  interaction  entre  el  profesor  y el  alumno 
durante  el  proceso  resolutor  y las  distintas  fases  que  componen  la  resolution  de  los 
problemas  propuestos  en  el  diseno  del  programa. 

El  desarrollo  del  programa  se  realiza  en  doce  unidades  de  aprendizaje  y cada  una 
de  ellas  gira  en  torno  a la  consecution  de  unos  objetivos  generales  y especfficos  sobre 

TABLA  I 

LAS  FASES  DEL  ESQUEMA  LINGUfSTICO  DE  INTERACCION.  (E.L.I.) 

EASE  1:  COMPRENSlON  DEL  PROBLEMA 


a)  Representacion  iconica  del  enunciado  a traves  de  un  dibujo  esquematico 
del  mismo.  Debe  responder  a la  pregunta:  £que  sabemos  de  este  problema? 

b)  Descripcion  verbal  del  enunciado  dibujado.  Facilita  esta  descripcion  la 
representacion  mental  del  problema.  El  profesor  pregunta:  £que  queremos 
saber? 

c)  Aproximacion  a una  estrategia  de  solucion.  Para  guiar  ese  proceso  el  profe- 
sor pregunta:  £que  hay  que  hacer  juntar,  quitar  o repartir? 

FASE  2:  EJECUClON  DE  LA  OPERAClON 


a)  Supone  la  realizacion  de  la  operacion  aritmetica  propiamente  dicha.  La 

realization  de  la  operation  se  realiza  en  dos  momentos: 

Manipulando  los  elementos  tangibles  de  la  caja  de  calculo  (recursos  enacti- 
vos) 

Haciendo  una  description  verbal  de  los  elementos  que  intervienen  en  la 
ejecucion  de  la  operation.  El  profesor  pregunta: 

^Que  numero  se  escribe  primeramente?  (primer  numero  de  la  operation  a 
realizar) 

^Eso  que  es?  (iQue  representa  el  primer  numero  de  la  operation  a realizar?) 
^Que  numero  se  escribe  ahora?  (segundo  numero  de  la  operation  a realizar) 
^Eso  que  es?  (que  representa  el  segundo  numero  de  la  operation  a realizar) 
^Que  se  dice  para  hacer  la  operacion?  (El  alumno  debe  responder  segun  el 
tipo  de  operacion  a realizar:  juntar,  quitar  o repartir). 

FASE  3:  VERIFICAClON  DE  LOS  RESULT  ADOS 


Supone  hacer  un  analisis  de  los  resultados  obtenidos.  El  profesor  pregunta: 
^Ese  numero  que  es?  El  alumno  debe  explicar  que  significa  el  resultado. 
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la  base  de  unos  contenidos  y actividades.  Los  contenidos  del  programa  se  estructura 
en  relacion  a nueve  areas  curriculares:  Resolucion  de  Problemas,  Composicion  de 
Numeros  Naturales,  Las  Horas,  Composicion  de  Numeros  fraccionarios,  Medicion  de 
Magnitudes,  Geometria,  Angulos,  Sistemas  de  Numeracion,  Operaciones  y Calculo. 

Cada  unidad  de  aprendizaje  se  inicia  con  la  resolucion  de  problemas  (tres  series  de 
problemas  con  tres  problemas  cada  serie).  Desde  el  inicio  del  programa  siempre  se 
simultanean  los  problemas  de  juntar  (sumar),  quitar  (restar)  y repartir  (dividir),  segui- 
damente  se  realizan  algunas  de  las  actividades  complementarias  propuestas  en  el 
programa.  Tanto  la  resolucion  de  problemas  como  las  actividades  se  estructuran  en 
torno  a un  criterio  de  complejidad  creciente.  Las  diferencias  que  se  establecen  entre  las 
distintas  unidades  de  aprendizaje  en  el  area  curricular  «Resolucion  de  Problemas» 
estriban  en  los  siguientes  aspectos:  a)  naturaleza  de  los  problemas  (grafico,  mixto  y 
escrito),  b)  el  nivel  de  representation  de  los  problemas  (posesion  o pertenencia  de  un 
objeto/  valor  o medida  de  objetos  concretos),  c)  la  numeracion  con  la  que  se  trabaja,  d) 
la  information  que  se  ofrece  en  el  enunciado  del  problema,  e)  el  tipo  de  sentencia  que 
se  utiliza  y f)  la  estructura  semantica  de  los  problemas. 

A nivel  metodologico  resultan  elementos  claves  del  programa:  atencion  mas  a los 
procesos  que  a los  resultados,  la  importancia  de  la  interaccion  verbal  como  base  de  la 
construction  del  conocimiento  matematico,  el  analisis  y la  reflexion  metacognitiva 
sobre  la  resolucion  de  problemas,  estructura  ciclica  de  las  unidades  de  aprendizaje,  el 
profesor  como  elemento  mediador  en  el  proceso  resolutor  y finalmente  la  utilization 
del  Esquema  Linguistico  de  Interaccion  (E.L.I.)  valido  para  todos  los  problemas  del 
programa. 

METODOLOGI'A  DE  LA  EVALUACION 
Generalidades  metodologicas  del  diseno  evaluativo 

Dentro  de  la  investigacion  evaluativa,  nuestro  trabajo  se  centra  en  el  ambito  de  la 
evaluacion  de  programas;  ello  supone  atender  a dos  dimensiones  fundamentales:  una 
primera  de  caracter  teorico-conceptual  en  la  que  resulta  de  vital  importancia  tener  en 
cuenta  los  elementos  basicos  que  en  opinion  de  Colas  y Rebollo  (1993)  delimitan  el 
modelo  de  evaluacion  utilizado  en  la  investigacion.  La  tabla  que  presentamos  a conti- 
nuation, recoge  las  distintas  dimensiones  que  debe  contemplar  un  modelo  de  evalua- 
cion y las  concreciones  que  adquieren  en  nuestro  trabajo. 

Desde  una  segunda  dimension  de  caracter  metodologico  el  modelo  evaluativo 
adquiere  una  serie  de  concreciones  en  cuanto  a la  delimitation  de  objetivos,  hipotesis, 
tecnicas  de  recogida  de  datos  y de  analisis  de  los  datos  obtenidos.  Estas  concreciones 
en  nuestro  trabajo  siempre  estan  focalizadas  hatia  los  dos  contenidos  fundamentales  a 
evaluar:  el  proceso  resolutor  y los  resultados  obtenidos  por  los  alumnos  durante  la 
implementation  del  programa  asi  como  los  logros  que  los  profesores  que  lo  han 
desarrollado  le  atribuyen  en  relacion  a lo  que  posibilita  al  alumno  y a ellos  como 
docentes. 
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TABLA  II 

EL  MODELO  DE  EVALUAClON 


EL  MODELO  EVALUATIVO 

CONCEPTO  DE  EVALUAClON 

Valoracion  de  los  procesos  y resultados  de  un  programa 

FINALIDAD  DE  LA  EVALUAClON 

Cientifica 

CONTENIDOSAEVALUAR 

Proceso/Producto 

UNIDAD  DE  EVALUAClON 

Sujetos  (profesores  y alumnos) 

TOMA  DE  DECISIONES 

Autoridad 

PAPEL  DELEVALUADOR 

Externo 

Contextualizacion  del  estudio  evaluative 

El  estudio  se  desarrollo  en  dos  centros  publicos  de  Educacion  Primaria.  En  el 
primero  de  ellos  contamos  con  los  tres  profesores  de  los  tres  grupos  de  primero  y en  el 
otro  centro  con  los  dos  profesores  de  los  grupos  existentes  para  el  nivel  de  segundo. 
En  total  fueron  cinco  profesores.  El  numero  de  alumnos  en  cada  grupo  era  bastante 
homogeneo.  Para  el  nivel  de  primero,  un  grupo  (Gl)  contaba  con  19  alumnos  y los 
otros  dos  (G2  y G3)  con  21.  Para  el  nivel  de  segundo  un  grupo  (G4)  estaba  formado 
por  17  alumnos  y el  otro  grupo  (G5)  por  15.  En  el  curso  de  primero  fueron  un  total  de 
61  alumnos  y para  el  curso  de  segundo  de  32. 

La  tabla  adjunta  resume  la  distribution  definitiva  segun  el  centro  (CEN1/CEN2)  y 
el  nivel  educativo  (N1/N2): 


TABLA  III 

SELECClON  MUESTRAL  SEGtiN  NIVEL  EDUCATIVO  Y CENTRO 


NIVEL  DE  PRIMERO/CENTRO  1 

NIVEL  DE  SEGUNDO/CENTRO  2 

N°  DE  GRUPOS 

ALUMNOS 

N°  DE  GRUPOS 

ALUMNOS 

Gl 

19 

G4 

17 

G2 

21 

G5 

15 

G3 

21 

Seleccion  de  los  participantes 

Dado  el  caracter  experimental  del  programa,  la  seleccion  de  los  profesores  que 
participaron  en  el  estudio  se  realizo  en  conjuncion  con  el  Centro  de  Profesores  de 
Sevilla  y los  responsables  de  Educacion  Primaria  y del  Area  de  Matematicas  a partir 
de  un  curso  de  formation  en  esta  metodologla  que  impartimos  a todos  los  profesores 
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que  durante  ese  curso  escolar  estuvierkn  en  el  primer  ciclo  de  Educacion  Primaria.  El 
desarrollo  del  curso  pretendia  un  doble  objetivo: 

a)  Retomar  una  labor  iniciada  por  el  autor  del  programa  basada  en  la  formacion  del 
profesorado  en  esta  metodologia  desde  un  acercamiento  a su  propia  practica. 

b)  Iniciada  esa  labor  formativa  invitar  a los  profesores  a participar  en  el  estudio 
evaluativo. 

El  Curso  de  Formacion  se  desarrollo  en  tres  fases:  de  iniciacion,  seguimiento  y 
evaluacion.  La  Fase  de  Iniciacion  comenzo  con  una  exposition  sobre  las  bases  concep- 
tuales  del  programa.  La  Fase  de  Seguimiento  se  realizo  con  los  tres  profesores  del 
nivel  de  primero  de  forma  rigurosa  y exhaustiva  durante  todo  el  proceso  de  imple- 
mentation del  programa.  En  estos  profesores  nos  hemos  basado  para  aportar  toda  la 
informacion  relativa  a la  evaluacion  del  proceso  resolutor.  La  evaluacion  de  los  resul- 
tados  del  programa  la  hemos  realizado  con  los  profesores  del  nivel  de  primero  y de 
segundo. 

Respecto  al  grupo  de  profesores  de  segundo,  tomamos  las  siguientes  decisiones:  a) 
Mantener  la  misma  estructura  didactica  que  en  el  de  primero,  a diferencia  de  aumen- 
tar  la  numeration  con  la  que  se  trabaja  en  los  problemas  planteados  y b)  Trabajar 
todas  las  actividades  propuestas  en  el  programa.  Hay  actividades  de  las  que  se  con- 
templan  en  el  programa  (numeros  fraccionarios,  geometrfa,  angulos,  etc.)  que,  a juicio 
de  los  profesores,  exceden  los  objetivos  de  este  primer  ciclo  de  Educacion  Primaria 
segun  las  directrices  generales  de  los  programas  actuates  para  ese  ciclo  educativo. 

La  fase  de  Evaluacion  se  organizo  en  tomo  a tres  sesiones  de  evaluacion  que  se 
realizaron  a lo  largo  del  curso  con  los  cinco  profesores.  Cada  una  de  ellas  respondfa  a 
un  objetivo  evaluativo  sobre  el  programa;  el  tipo  de  informacion  aportada  en  estas 
sesiones  de  evaluacion  han  apoyado  la  evaluacion  del  programa  desde  la  optica  del 
profesorado  que  lo  ha  llevado  a la  practica. 

2.  EVALUACION  DEL  PROCESO  DE  RESOLUCION  DE  PROBLEMAS 

La  evaluacion  del  proceso  resolutor  se  plantea  como  objetivo  fundamental  conocer 
el  grado  de  asimilacion  o incorporation  en  los  alumnos  del  procedimiento  resolutor 
(integration  del  Esquema  Lingiifstico  de  Interaccion). 

Este  objetivo  general  se  concretara  en  los  siguientes  objetivos  mas  especificos: 

a)  Conocer  si  el  alumno  diferencia  la  estrategia  de  resolucion  de  problemas:  com- 
prension  del  problema,  ejecucion  de  una  estrategia  de  solucion  y verificacion  o 
analisis  del  resultado  obtenido. 

b)  Conocer  la  integracion  que  el  alumno  ha  realizado  del  Esquema  de  Interaccion 
que  le  ayuda  a diferenciar  las  tres  partes  del  proceso  de  resolucion  de  proble- 
mas  (que  sabemos  de  este  problema,  que  queremos  saber,  que  hay  que  hacer 
juntar,  quitar  o repartir;  etc...)  y si  existe  alguna  relation  entre  la  integracion  que 
realiza  el  profesor  y la  que  realiza  el  alumno. 

c)  Conocer  que  comprension  del  problema,  ejecucion  de  la  operation,  verificacion 
del  resultado  obtenido  y grado  de  resolucion  total  tienen  los  sujetos  durante  el 
proceso  resolutor. 
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d)  Conocer  si  es  la  caja  de  calculo  una  herramienta  adecuada  para  facilitar  el  paso 
hacfa  el  razonamiento  abstracto  desligado  de  la  manipulacion  de  elementos 
tangibles. 

e)  Conocer  si  existen  diferencias  entre  los  sujetos  en  cuanto  a comprension,  ejecu- 
cion, verificacion  y grado  de  resolucion  total  durante  el  proceso  resolutor  aten- 
diendo  a la  naturaleza  del  problema  (grafico,  mixto  o totalmente  escrito). 

f)  Conocer  si  existen  diferencias  entre  los  sujetos  en  comprension,  ejecucion,  veri- 
ficacion y grado  de  resolucion  total  durante  el  proceso  resolutor  segun  el  profe- 
sor  que  ha  implementado  el  programa. 

g)  Conocer  si  existen  diferencias  entre  los  sujetos  en  cuanto  a comprension,  ejecu- 
cion y verificacion  durante  el  proceso  resolutor  segun  el  nivel  de  resolucion 
(alto,  medio  y bajo)  de  los  sujetos. 

Con  la  finalidad  de  alcanzar  los  objetivos  senalados  se  planted  una  recogida  de 
datos  basada  en  la  observacion  del  proceso  resolutor  durante  todo  el  curso  escolar.  La 
lista  de  rasgos  a observar  es  la  siguiente: 

LISTA  DE  RASGOS  A OBSERVAR 

h)  ^Realiza  un  dibujo  esquematico  del  problema? 

b)  <i,Que  sabemos  de  este  problema? 

c)  <i,Que  queremos  saber? 

d)  <j,Que  hay  que  hacer  juntar,  quitar  o repartir? 

e)  ^Utiliza  la  caja  de  calculo  como  material  basico  para  la  realizacion  de  la 
operacion  aritmetica? 

f)  ^Que  numero  se  escribe  primeramente? 

g)  i Eso  que  es?  QReferido  al  primer  numero  de  la  operacion  a realizar? 

h)  ^Que  numero  se  escribe  ahora? 

i)  ^Eso  que  es?  (^Referido  al  segundo  numero  de  la  operacion  a realizar? 

j)  ^Que  se  dice  para  hacer  la  operacion? 

k)  ^Ese  numero  que  es?  QReferido  al  numero  que  se  ha  obtenido  como  resulta- 
do  en  el  problema? 


Estas  preguntas  que  conducen  el  proceso  resolutor  en  situacion  de  interaccion 
(profesor-alumno)  se  han  utilizado  tanto  para  conocer  el  grado  de  fidelidad  con  que 
reproducen  los  profesores  la  secuencia  del  proceso  resolutor  asi  como  la  incorporacion 
del  mismo  que  realiza  el  alumno;  de  ahi  que  la  informacion  recogida  sea  tanto  del 
profesor  como  del  alumno. 

El  listado  de  rasgos  incluye  las  tres  etapas  fundamentals  del  proceso  resolutor: 
comprension  del  problema,  ejecucion  de  una  estrategia  de  solucion  y verificacion  o 
analisis  del  resultado  obtenido  al  concluir  la  operacion  matematica. 

En  total  se  han  realizado  doce  sesiones  de  observacion  de  las  cuales  las  cuatro 
primeras  tienen  un  caracter  exploratorio  con  objeto  de  indagar  sobre  la  viabilidad  de 
la  lista  de  control  elaborada  de  acuerdo  con  el  contexto  de  observacion  y los  objetivos 
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del  estudio.  El  criterio  que  se  ha  utilizado  para  la  seleccion  de  estos  periodos  de 
tiempo  intersesionales  ha  sido  el  que  cada  uno  de  ellos  fuera  representative  de  las 
distintas  unidades  de  aprendizaje  que  se  realizan  a lo  largo  del  programa,  de  tal  forma 
que  el  conjunto  de  todas  las  sesiones  de  observation  supone  una  muestra  de  la  varia- 
bilidad  que  implica  por  parte  del  alumno  y el  profesor  la  resolution  de  problemas  en 
el  programa.  Cada  sesion  se  ha  dividido  en  numeros  de  intervalos  de  longitud  cons- 
tante  y en  el  transcurso  de  la  misma  se  anota  si  el  proceso  resolutor  se  conduce  de  la 
forma  prevista.  Es  un  registro  de  todo  o nada.  Nos  interesaba  conocer  como  cada 
profesor  guiaba  el  proceso  resolutor  a partir  del  Esquema  de  Interaccion  propuesto  y 
como  respondian  los  alumnos  seleccionados  a cada  una  de  las  preguntas  que  el 
profesor  haefa  en  relation  al  proceso  resolutor.  Para  optimizar  los  registros  realizamos 
cuatro  sesiones  de  observacion  que  tertian  un  caracter  exploratorio  con  objeto  de 
controlar  la  posible  reactividad  de  los  sujetos;  estas  sesiones  tambien  se  utilizaron 
para  mejorar  la  lista  de  rasgos  a observar. 

La  tabla  que  presentamos  a continuation  recoge  el  total  de  observaciones  realiza- 
das  a lo  largo  del  curso: 


TABLA  IV 

NUMERO  DE  REGISTROS  OBSERVACIONALES  REALIZADOS 


OBSERVACldN  DEL  PROCESO  RESOLUTOR 

Profesor  1 

Profesor  2 

Profesor  3 . 

Sujeto  1 Sujeto  2 Sujeto  3 

Sujeto  4 Sujeto  5 Sujeto  6 

Sujeto  7 Sujeto  8 Sujeto  9 

Observacion  1 

Observacion  1 

Observacion  1 

Observacion  8 

Observacion  8 

Observacion  8 

Para  la  seleccion  de  los  sujetos  nos  basamos  en  los  trabajos  realizados  por  Brown 
(1983)  y Carpenter  y Moser  (1984).  Estos  autores  senalan  como  componentes  esencia- 
les  en  la  resolucion  de  problemas  matematicos  procesos  de  caracter  metacognitivo  y 
afectivo,  destacando  la  importancia  de  fomentar  una  reflexion  sobre  la  practica  en  el 
alumno  y una  motivacion  basada  en  la  propia  tarea. 

Los  factores  que  observamos  en  el  aula  durante  el  desarrollo  del  programa  fueron 
los  siguientes:  a)  planificacion  de  la  tarea  de  cara  al  entendimiento  de  la  misma,  b) 
control  de  actividades  durante  la  propia  resolucion,  c)  tipo  de  representation  efectua- 
da  sobre  el  problema  propuesto  y d)  nivel  de  motivacion  hacia  la  tarea.  Cada  sesion  de 
observacion  estaba  focalizada  hacia  cada  uno  de  esos  sujetos  durante  un  intervalo  de 
tiempo  corto  y por  turnos;  dividimos  el  periodo  de  observacion  en  tantos  intervalos 
como  individuos  y dedicamos  a cada  uno  de  ellos  un  intervalo  de  tiempo. 

La  tabla  siguiente  resume  todo  el  proceso  metodologico  desarrollado  para  la  eva- 
luation del  proceso  resolutor: 
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TABLA  V 

CUADRO-RESUMEN  SOBRE  METODOLOGfA  UTILIZADA  PARA 
LA  EVALUAClON  DEL  PROCESO  RESOLUTOR 


LA  EVALUAClON  DEL  PROCESO  RESOLUTOR 

OBJETIVOS  EVALUATIVOS 

a)  Nivel  de  implementation  del  programa  con  relacion  al 
proceso  resolutor  a traves  de  la  interaccion  profesor-alum- 
no  durante  el  proceso  resolutor  y las  diferencias  que  se 
establecen  entre  los  sujetos  segun  el  profesor,  el  tipo  de 
alumno  y los  niveles  de  resolucion  de  los  alumnos. 

INSTRUMENTOS 

Observation  sistematica.  Escala  de  observation  tipo  lista 
de  control  (las  preguntas  del  proceso  resolutor  constitu- 
yen  la  lista  de  rasgos  a observar). 

TfiCNICAS  DE  ANALISIS 

a)  Analisis  descriptivo  basado  en  las  once  preguntas-res- 
puestas  sobre  las  que  se  analiza  el  proceso  resolutor. 

b)  Analisis  de  la  varianza  para  establecer  si  existen  dife- 
rencias en  el  proceso  resolutor  segun  el  profesor  que  lo 
ha  desarrollado,  la  naturaleza  del  problema,  niveles  de 
resolucion  de  los  sujetos  y por  la  interaccion  profesor  y 
niveles  de  resolucion  de  los  sujetos. 

LA  EVALUAClON  DE  LOS  RESULTADOS  DEL  PROGRAMA 

La  evaluation  de  resultados  tiene  como  objetivo  general  conocer  cuales  han  sido 
los  principales  logros  del  programa.  Este  objetivo  general,  se  canaliza  a traves  de  dos 
agentes:  profesores  y alumnos. 

En  relation  al  alumno  este  objetivo  general  se  concreta  en  los  siguientes  objetivos 
mas  espedficos: 

a)  Conocer  el  grado  de  consecucion  de  los  objetivos  del  programa  (en  sus  distintas 
areas  curriculares)  en  los  alumnos  del  nivel  de  primero  y segundo  de  Educacion 
Primaria  con  los  que  se  ha  desarrollado  el  programa. 

De  este  objetivo  prioritario  para  esta  evaluacion  del  programa  de  deriva  otro 
objetivo  que  en  nuestro  estudio  tiene  un  caracter  mas  secundario: 

b)  Conocer  si  existen  diferencias  entre  los  alumnos  de  los  distintos  grupos  (tanto 
del  nivel  de  primero  como  de  segundo)  en  cuanto  al  grado  de  consecucion  de 
los  objetivos  del  programa  segun  el  profesor  que  lo  ha  llevado  a la  practica. 

En  relacion  al  profesor  nos  hemos  planteado  los  siguientes  objetivos  mas  espedficos: 
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c)  Conocer  como  valoran  los  profesores  los  logros  alcanzados  en  el  programa  en 
cuanto  a la  consecution  de  objetivos,  contenidos,  actividades,  recursos  y aspec- 
tos  organizativos  del  mismo. 

d)  Conocer  que  dimensiones  del  programa  valoran  los  profesores  en  relation  a 
como  ha  incidido  el  desarrollo  del  programa  en  los  alumnos. 

e)  Conocer  que  dimensiones  del  programa  valoran  los  profesores  en  relation  a la 
influencia  que  ha  ejercido  en  ellos  durante  su  desarrollo. 

La  tabla  siguiente  resume  todo  el  proceso  metodologico  desarrollado  para  la  eva- 
luation de  los  resultados  del  programa: 

TABLA  VI 

CUADRO-RESUMEN  SOBRE  METODOLOGIA  UTILIZADA  PARA 
LA  EVALUAClON  DE  LOS  RESULTADOS  DEL  PROGRAMA 


LA  EVALUACION  DE  LOS  RESULTADOS  DEL  PROGRAMA 

SOBRE  EL  ALUMNO 

DESDE  EL  PROFESOR 

OBJETIVOS 

EVALUATIVOS 

a)  Conocer  los  logros  alcanzados  en 
el  programa  a traves  del  nivel  de 
consecucion  de  objetivos  en  las 
distintas  areas  curriculares. 

a)  Valoraciones  que  hace  el  profesorado 
en  cuanto  a consecucion  de  objetivos, 
contenidos,  etc...  del  programa. 

b)  Valoraciones  del  profesorado 
en  cuanto  a como  ha  incidido  el 
desarrollo  del  programa  en  los 
alumnos  y en  ellos  como  docentes. 

INSTRUMENTOS 

Pruebas  de  caracter  criterial  para 
medir  los  objetivos  del  programa 
en  el  nivel  de  primero  y de  segundo 

Sesiones  de  evaluacion  guiadas 
por  entrevistas  semiestructuradas. 

TECNICAS  DE 

anAlisis 

a)  Analisis  descriptivo  para 
comprobar  el  nivel  de  consecucion 
de  los  objetivos  del  programa. 

b)  Analisis  de  la  varianza  para 
ver  si  existen  diferencias  entre 
los  logros  alcanzados  por  cada 
grupo  y nivel  educativo. 

Analisis  de  contenido:  se  toma  como 
unidad  de  analisis  la  unidad 
tematica  conceptual  significativa. 

En  relation  a la  evaluation  de  los  resultados  del  programa,  dos  han  sido  las 
fuentes  principales  de  obtencion  de  los  datos: 

Cinco  Pruebas  tanto  para  el  nivel  de  primero  como  de  segundo,  para  evaluar  el 
rendimiento  matematico  de  los  alumnos  teniendo  como  referentes  o criterios  de  com- 
paracion  los  objetivos  del  programa. 


ERIC 
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Tres  Sesiones  de  Evaluacion  realizadas  con  los  profesores  durante  la  implementa- 
tion del  programa  con  objeto  de  analizar  e indagar  que  dimensiones  del  programa 
resultan,  a juicio  de  los  profesores,  mas  reveladoras  de  la  posible  efectividad  del 
mismo;  incidiendo  en  este  analisis  en  la  influencia  que  haya  podido  ejercer  tanto  en  los 
alumnos  como  en  los  profesores.  Los  objetivos  que  pretendfan  cubrir  cada  una  de  ellas 
son  los  siguientes: 


Objetivos  de  la  Primera  Sesion  de  Evaluacion 

• Indagar  en  la  trayectoria  personal  de  cada  uno  de  los  profesores  en  cuanto  a 
sus  conocimientos,  expectativas  y deseos  en  relacion  a la  Didactica  de  las 
Matematicas. 

• Explorar  las  primeras  impresiones  sobre  el  programa  tras  una  primera  toma 
de  contacto  con  el. 

Objetivos  de  la  Segunda  Sesion  de  Evaluacion 

• Analisis  de  todos  aquellos  factores  que  podfan  estar  incidiendo  durante  la 
implementacion  del  programa. 

Objetivos  de  la  Tercera  Sesion  de  Evaluacion 

® Realizar  una  evaluacion  de  caracter  sumativo  sobre  los  resultados  alcanza- 
dos  en  el  programa  con  relacion  a la  consecucion  de  objetivos,  contenidos, 
actividades,  etc... 


Grado  de  consecucion  de  los  objetivos  del  programa  para  el  nivel  de  primero 

Las  conclusiones  fundamentales  que  podemos  establecer  en  relacion  a los  logros 
alcanzados  en  el  programa  para  el  nivel  de  primero,  han  sido  las  siguientes: 

a)  Los  objetivos  de  aprendizaje  de  las  areas  curriculares  del  programa  referidas  a 
Resolucion  de  Problemas,  Composition  de  Numeros  Naturales,  Numeros  Frac- 
cionarios.  Las  Horas,  Operaciones  y Calculo,  han  sido  superados  por  el  75%  de 
los  alumnos  del  nivel  de  primero  excepto  en  el  area  curricular  «Operaciones  y 
Calculo  ». 

La  figura  n°  2 recoge  los  logros  alcanzados  en  cada  una  de  las  areas  curriculares 
que  se  han  desarrollado  durante  la  implementacion  del  programa. 

En  cuanto  al  area  curricular  del  programa  referida  a Resolucion  de  Problemas  los 
objetivos  de  esa  area  han  sido  superados  por  los  alumnos  del  nivel  de  primero.  En  la 
resolucion  de  problemas  de  la  primera  prueba  (PR1)  los  alumnos  que  mejores  resulta- 
dos han  obtenido  han  sido  los  del  grupo  tres  y los  resultados  menos  satisfactorios  en 
el  grupo  uno.  En  la  resolucion  de  problemas  de  la  segunda  prueba  (PR2)  los  alumnos 
de  los  tres  grupos  han  obtenido  resultados  muy  parecidos  a los  anteriores;  en  esta 
segunda  prueba  los  alumnos  del  grupo  uno  han  superado  los  resultados  con  respecto 
a los  de  PR1.  La  resolucion  de  problemas  de  la  tercera  prueba  (PR3)  ha  sido  superada 
por  los  alumnos  del  grupo  uno  y dos.  Los  alumnos  del  grupo  tres  no  han  alcanzado  el 
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Figura  2 

Logros  alcanzados  en  las  Areas  Curriculares  del  Programa  en  el  Nivel  de  Primero. 


nivel  minimo  de  superacion.  Los  problemas  de  la  cuarta  y quinta  prueba  (PR4)  y (PR5) 
son  totalmente  escritos  solo  se  diferencian  en  el  nivel  de  representacion  empleado.  En 
la  cuarta  prueba  (PR4)  los  resultados  son  muy  similares  en  los  alumnos  de  los  tres 
grupos.  Los  mejores  resultados  los  han  obtenido  los  alumnos  del  primer  grupo.  Los 
resultados  varian  sustancialmente  en  los  problemas  realizados  en  la  ultima  prueba.  En 
esta  los  objetivos  del  programa  referidos  a resolucion  de  problemas  solo  han  sido 
superados  por  los  alumnos  del  tercer  grupo. 

Para  el  area  que  va  referida  a la  Composicion  de  Numeros  Naturales,  los  resulta- 
dos obtenidos  muestran  que  los  objetivos  del  programa  relativos  a contar  dinero  con 
monedas  de  1,  5,  10  y 25  pesetas  ha  sido  superados  por  los  tres  grupos.  Las  mayores 
dificultades  han  estado  en  CD2,  CD3  y CD4.  En  estos  items  el  uso  de  las  monedas 
implicaba  a la  decena. 

En  relacion  al  conocimiento  de  las  Horas  los  resultados  obtenidos  muestran  que 
han  sido  superados  los  objetivos  de  aprendizaje  referidos  a las  horas  en  punto,  medias 
y cuartos.  El  concepto  de  medio  y cuarto  en  relacion  a las  horas  se  trabaja  a partir  de 
la  introduccion  que  ya  se  ha  realizado  previamente  en  la  resolucion  de  problemas. 

En  cuanto  a la  Composicion  de  Numeros  Fraccionarios  se  han  superado  los  obje- 
tivos del  programa  que  hacen  referenda  a la  utilizacion  de  la  unidad,  el  medio  y el 
cuarto.  A un  nivel  manipulative  para  la  composicion  de  los  numeros  fraccionarios 
solo  se  han  utilizado  circulos,  medios  circulos  y cuartos  de  circulos. 

La  introduccion  que  a partir  de  esta  actividad  del  programa  se  realiza  para  la 
geometria  no  ha  sido  trabajada  en  toda  su  extension.  En  el  area  de  Geometrfa  solo  se 
ha  alcanzado  el  objetivo  del  programa  referido  a la  discriminacion  entre  cuerpos 
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redondos  y poliedros;  actividad  que,  por  otra  parte,  no  ha  sido  trabajada  por  todos  los 
profesores.  Esta  area  curricular  del  programa  solo  ha  sido  evaluada  en  las  dos  ultimas 
pruebas  realizadas.  Los  alumnos  del  grupo  uno  y tres  solo  han  realizado  la  evaluacion 
de  esta  area  en  la  ultima  prueba. 

El  apartado  del  programa  destinado  al  desarrollo  de  las  Medidas  de  Peso  y Longi- 
tud  ha  tenido  un  tratamiento  muy  puntual.  Aunque  son  conceptos  que  se  desarrollan 
en  la  parte  media-final  del  curso  su  desarrollo  en  el  programa  ha  sido  muy  limitado. 
No  se  han  desarrollado  las  medidas  de  peso  y de  capacidad.  Los  resultados  obtenidos 
en  medidas  de  longitud  han  sido  satisfactorios;  aunque  este  concepto  solo  se  haya 
contemplado  en  la  realizacion  de  la  ultima  prueba  (PR5)  si  que  se  han  realizado 
muchos  ejercicios  en  clase  con  el  metro  de  cartulina  que  pintaron  los  ninos. 

En  cuanto  al  area  de  Operaciones  y Calculo  dentro  del  programa  tiene  un  caracter 
secundario.  Su  inclusion  en  las  pruebas  obedece  fundamentalmente  a que  los  progra- 
mas  de  matematicas  recomiendan  que  los  ninos  ejerciten  el  calculo  desligado  de  las 
situaciones  contextuales  en  las  que  hay  que  resolver  una  situacion  problematica.  Los 
resultados  en  esta  area  han  sido  del  69,5%. 

De  estas  consideraciones  se  desprende  otras  dos  conclusiones  para  el  nivel  de 
primero: 

• Los  objetivos  del  programa  que  principalmente  han  desarrollado  los  profesores 
en  este  nivel  educativo  pertenecen  a las  siguientes  areas  curriculares:  Resolu- 
cion de  Problemas,  Composicion  de  Numeros  Naturales  y Fraccionarios,  Las 
Horas,  Operaciones  y Calculo.  Han  tenido  un  menor  tratamiento  las  areas 
Medicion  de  Magnitudes  y geometria;  esta  ultima  solo  ha  estado  referida  a la 
discriminacion  de  figuras  geometricas.  No  se  han  desarrollado  los  objetivos  del 
programa  correspondientes  al  valor  y tamano  de  los  angulos.  En  el  area  curricu- 
lar Sistemas  de  Numeracion,  la  actividad  «numeracion  casi  romana»  no  se  ha 
trabajado. 

© En  aquellos  objetivos  del  programa  que  existen  diferencias  en  los  resultados 
obtenidos  por  los  alumnos  las  ha  establecido  el  profesor  uno  (PI)  con  respecto  a 
los  resultados  obtenidos  por  los  alumnos  del  profesor  dos  (P2)  o del  profesor 
tres  (P3)  para  ese  mismo  objetivo  de  aprendizaje. 

Este  resultado  se  confirma  tambien  para  la  implementacion  del  proceso  resolutor: 
el  profesor  uno  (PI)  es  el  ha  marcado  diferencias  entre  los  sujetos  en  cuanto  a la 
comprension  del  problema,  ejecucion  y verificacion  o analisis  del  resultado  obtenido 
durante  el  proceso  de  resolucion  de  problemas. 

Grado  de  consecucion  de  los  objetivos  del  programa  para  el  nivel  de  segundo 

Las  diferencias  fundamentales  establecidas  entre  el  nivel  primero  y segundo  en  las 
distintas  areas  curriculares  del  programa  hace  referenda  a los  siguientes  aspectos: 

1.  En  cuanto  a Resolucion  de  problemas  se  utilizan  los  mismos  conceptos  que  en 
el  nivel  de  primero  a diferencia  de  que  se  realizan  mas  problemas  de  tipo  mixto 
y escrito  que  de  tipo  grafico.  La  numeracion  que  interviene  en  los  problemas  es 
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mas  elevada.  Los  profesores  de  este  nivel  no  han  utilizado  la  caja  de  calculo 
como  material  manipulative  para  resolver  los  problemas. 

2.  En  el  area  Composicion  de  Numeros  Naturales,  los  profesores  de  segundo, 
ademas  de  las  monedas  de  1,  5 y 25  pesetas  previstas  en  el  programa  para  la 
actividad  de  contar  dinero  han  anadido  las  de  50  y 100  pesetas. 

3.  En  relacion  al  conocimiento  de  Las  Horas  los  objetivos  evaluados  coinciden  con 
los  especificados  en  el  programa:  Horas  en  punto,  medias  y cuartos. 

4.  En  la  Composicion  de  Numeros  Fraccionarios  han  trabajado  la  unidad,  el 
medio  y el  cuarto.  Para  desarrollar  esta  actividad  han  utilizado  como  materiales 
basicos  el  circulo  entero,  medios  circulos  y cuartos  de  circulos.  La  singularidad 
de  esta  actividad  en  este  nivel  ha  sido  que  los  alumnos  han  realizado  operacio- 
nes  algebraicas  con  los  numeros  fraccionarios.  Han  desarrollado  la  versatilidad 
de  las  operaciones  con  estos  numeros. 

5.  En  este  nivel  no  se  han  trabajado  la  discriminacion  de  cuerpos  geometricos 
(cuerpos  redondos  y poliedros)  pero  si  la  diferenciacion  en  relacion  al  tamano 
de  los  Angulos  (grande,  mediano  y pequeno). 

6.  No  han  desarrollado  el  objetivo  de  aprendizaje  dirigido  al  conocimiento  del 
valor  de  los  angulos  medidos  en  minutos  horarios. 

7.  En  las  Operaciones  y el  Calculo  se  han  trabajado  las  operaciones  de  adicion  y 
sustraccion  con  mayor  complejidad  que  en  el  nivel  de  primero  y se  ha  introdu- 
cido  a los  alumnos  en  la  operacion  de  multiplicar  (con  una  cifra). 

Hechas  estas  diferenciaciones  en  cuanto  a la  especificidad  que,  en  el  nivel  de 
segundo  adquieren  los  objetivos  del  programa  desarrollado,  las  conclusiones  funda- 
mentales  que  podemos  establecer  para  este  nivel  son  las  siguientes: 

® Los  objetivos  de  aprendizaje  de  las  areas  curriculares  del  programa  referidas  a 
Resolucion  de  Problemas,  Composicion  de  Numeros  Naturales,  Numeros  Frac- 
cionarios, Las  Horas,  Angulos,  Operaciones  y Calculo,  han  sido  superados  por 
el  75%  de  los  alumnos  del  nivel  de  segundo  excepto  en  el  area  curricular 
«Resolucion  de  Problemas». 

A modo  de  sintesis  el  grafico  siguiente  ilustra  los  resultados  globales  obtenidos 
para  este  nivel  educativo  en  las  distintas  areas  curriculares  del  programa  que  se  han 
desarrollado: 

® Los  objetivos  del  programa  que  han  desarrollado  los  profesores  en  el  nivel  de 
segundo  pertenecen  a las  siguientes  areas  curriculares:  Resolucion  de  Proble- 
mas, Composicion  de  Numeros  Naturales  y Fraccionarios,  Las  Horas,  Geome- 
tria,  Operaciones  y Calculo.  El  area  de  geometria  solo  ha  estado  referida  al  valor 
y tamano  de  los  angulos.  No  se  ha  desarrollado  el  area  curricular  Medicion  de 
Magnitudes.  La  actividad  «numeracion  casi  romana»  dentro  del  area  «Sistemas 
de  Numeracion»  no  se  ha  trabajado. 

9 Para  el  nivel  de  segundo,  el  profesor  no  ha  establecido  diferencias  entre  los 
alumnos  en  cuanto  a la  consecucion  de  los  objetivos  del  programa. 
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Logros  alcanzados  en  las  Areas  Curriculares  del  Programa  en  el  nivel  de  segundo. 


La  vision  de  los  profesores  sobre  la  metodologia  para  la  resolution  de  problemas 

Las  valoraciones  de  caracter  mas  interpretative  realizadas  por  los  profesores  du- 
rante la  implementation  del  programa  en  tres  momentos  distintos  del  mismo,  comple- 
ta  desde  otras  dimensiones  la  evaluation  que  en  su  globalidad  hemos  realizado  del 
Programa  de  Initiation  a la  Matematica. 

Estas  valoraciones  que  realiza  el  profesorado,  se  extienden  a tres  ambitos  diferentes: 

• estimacion  que  de  forma  global  han  realizado  los  profesores  sobre  la  implemen- 
tacion  del  programa:  grado  de  consecucion  de  los  objetivos,  contenidos,  activi- 
dades,  recursos  y aspectos  organizativos  del  programa;  factores  que  han  afecta- 
do  a su  funcionamiento,  logros  principales  alcanzados,  etc. 

• como  perciben  el  impacto  que  el  desarrollo  del  programa  ha  producido  en  los 
alumnos.  Valoran  que  aspectos  del  programa  les  ha  gustado  mas  a los  alumnos, 
cuales  menos,  si  ha  habido  cambio  de  actitudes,  procesos  cognitivos  que  genera 
en  ellos,  etc. 
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9 dimensiones  que  el  programa  ha  propiciado  en  los  profesores  que  lo  han  lleva- 
do  a la  practica.  En  este  ultimo  apartado  valoran  que  aspectos  les  ha  ensenando 
el  programa  a ellos,  repercusion  que  ha  tenido  en  su  practica  profesional,  si  el 
programa  ha  generado  una  cambio  de  actitud  sobre  lo  que  es  ensenar  matema- 
ticas, etc. 

Aportaciones  del  programa  a los  alumrtos  segun  los  profesores 

El  objetivo  de  esta  evaluacion  es  desvelar  que  aporta  el  programa  al  alumno  desde 
la  perception  del  profesorado.  Este  objetivo  se  concretaria  en  la  siguiente  cuestion 
evaluativa: 

l 

iQue  dimensiones  propicia  en  el  alumno  el  desarrollo  del  programa? 

La  informacion  obtenida  nos  ha  posibilitado  la  categorizacion  de  la  misma.  Se  toma 
como  unidad  de  analisis  la  unidad  conceptual  tematica  significativa.  Atendiendo  a 
este  criterio  las  valoraciones  que  hacen  los  profesores  sobre  como  ha  incidido  el 
programa  en  los  alumnos  las  aglutinamos  en  las  siguientes  dimensiones  o categorfas: 
Cognoscitiva,  Actitudinal,  Organizativa  y Social. 

El  procedimiento  que  utilizamos  para  la  elaboration  de  estas  dimensiones  fue  el 
siguiente:  Una  vez  recogida  la  informacion  y seleccionada  la  unidad  de  analisis  se 
procedio  a la  construccion  de  las  categorfas  o nucleos  categoriales  que  abarcan  el 
conjunto  de  ideas  y temas  sobre  los  que  los  profesores  discuten  en  las  sesiones  de 
evaluacion  realizadas. 

En  el  ambito  cognoscitivo,  los  profesores  consideran  que  el  programa  propicia  las 
siguientes  dimensiones  en  los  alumnos: 

• Razonamiento  ordenado  de  acuerdo  a una  estructura  logica. 

• Desarrolla  la  atencion. 

• Posibilita  la  adquisicion  de  una  herramienta  valida  que  puede  extrapolar  a 
situaciones  problematicas  de  la  vida  real  (modelo  resolutor). 

® El  conocimiento  experiencial  como  motor  de  aprendizaje. 

• • Capacidad  de  analisis  y sfntesis. 

• Construccion  del  discurso  matematico  que  es  el  que  facilita  el  paso  del  conoci- 
miento informal  a otro  formal. 

® Lectura  de  imagenes.  Intercambio  verbal- visual. 

Atendiendo  a una  dimension  actitudinal  algunos  de  los  aspectos  senalados  por  los 
profesores  se  situan  en: 

• Toma  de  decisiones 

• Analisis  de  las  situaciones 

® Autoestima  y seguridad  en  sf  mismo 

• Investigativas  (curiosidad,  busqueda,  tenacidad,  estimation,  planteamiento  de 
hipotesis...) 

• Motivation  e interes  hacfa  el  trabajo 

• Participacion 
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En  relacion  a la  categorfa  aspectos  organizativos  que  el  programa  ha  generado  en 
los  alumnos,  a juicio  de  los  profesores,  los  mas  importantes  han  sido: 

® Ubicacion  espacial:  todos  los  ninos  tienen  que  mirar  a la  pizarra  cuando  se 
resuelven  los  problemas. 

• La  resolution  impone  un  orden  en  cuanto  a quien  lo  resuelve  en  cada  momento. 
Se  tiene  que  establecer  un  sistema  rotatorio  que  permita  intervenir  cada  dia  que 
se  realizan  los  problemas  a determinados  ninos. 

• Temporalidad:  los  problemas  se  hacen  unicamente  los  lunes,  miercoles  y vier- 
nes.  El  resto  de  las  actividades  martes  y jueves. 

En  el  ambito  social,  todos  los  profesores  coinciden  en  que  el  efecto  principal  se 
traduce  en: 

• El  aula  como  lugar  de  encuentro  y de  construccion  del  conocimiento.  Los  pro- 
blemas se  resuelven  de  forma  oral  produciendose  una  interaccion  entre  nino- 
profesor.  En  esta  interaccion  el  nino  recibe  retroalimentacion  del  profesor  y de 
sus  iguales  (influencias  metacognitivas).  Una  vez  resuelto  de  forma  oral,  cada 
nino  lo  hace  individualmente  en  su  cuaderno. 

Aportaciones  del  programa  a los  profesores  que  lo  han  desarrollado 

El  objetivo  de  esta  evaluacion  es  desvelar  que  ha  aportado  el  programa  a los 
profesores  que  lo  han  desarrollado.  Este  objetivo  se  concretaria  en  la  siguiente  cues- 
tion  evaluativa: 

• ^Que  dimensiones  del  programa  consideran  los  profesores  que  han  ejercido 
una  influencia  ellos  que  lo  han  llevado  a la  practica? 

Para  el  analisis  de  la  informacion  aportada  por  los  profesores  sobre  los  efectos  que 
el  programa  ha  producido  en  ellos  como  agentes  de  su  puesta  en  practica  han  utiliza- 
do  tambien  como  unidad  de  analisis  la  unidad  tematica  conceptual  significativa.  De 
acuerdo  a esta  unidad  de  registro  el  analisis  de  la  informacion  la  hemos  realizado 
agrupando  las  manifestaciones  que  realizan  los  profesores  en  relacion  al  topico  sobre 
el  que  se  indaga  en  los  mismos  nucleos  categoriales  que  senalamos  anteriormente. 

Algunos  de  los  aspectos  senalados  por  los  profesores,  muestran  las  siguientes 
dimensiones: 

• Satisfaccion  ante  la  labor  docente. 

• Una  nueva  forma  de  abordar  las  matematicas. 

• Orden  y sistematizacion. 

• Formacion  en  una  metodologia  nueva. 

• Conocimiento  de  una  estructura  didactica  ciclica. 

• Una  metodologia  para  la  resolucion  de  problemas. 

• Conocimiento  de  una  estructura  didactica  gradual. 

• Ha  resultado  motivante  llevarlo  a la  practica. 

• Promueve  el  situarte  en  una  actitud  abierta  y aperturista. 

Dimensiones  que  tambien  la  hemos  categorizado  con  la  misma  denominacion  que 
para  las  valoraciones  que  hacen  los  profesores  sobre  los  efectos  que  ha  producido 
segun  ellos  en  los  alumnos:  cognoscitivas,  organizativas,  actitudinales  y sociales. 

' * ■ 
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Las  conclusiones  fundamentales  que  podemos  establecer  referidos  a estos  tres 
ambitos  (el  programa  en  si,  el  programa  para  los  alumnos,  y el  programa  en  los 
profesores)  son  las  siguientes: 

° El  area  curricular  del  programa  que  mas  le  ha  gustado  a los  profesores  y a los 
alumnos  ha  sido  Resolucion  de  Problemas.  La  caracterizacion  del  proceso  reso- 
lutor  como  sistematico,  basado  en  la  logica,  conectado  con  el  conocimiento 
concreto  y experiencial  del  alumno,  son  algunas  de  las  manifestaciones  mostra- 
das  por  ellos. 

® Los  logros  fundamentales  alcanzados  a juicio  de  los  profesores  son  los  siguien- 
tes: a)  construction  de  un  lenguaje  matematico,  b)  integration  de  un  esquema 
mental  para  resolver  problemas  que  hacen  extensibles  a otras  situaciones  de  la 
vida  cotidiana,  c)  rigurosidad  y sistematicidad  que  establece  el  Esquema  de 
Interaccion  en  el  proceso  resolutor,  y d)  el  programa  les  enseria  a pensar. 

® Las  actitudes  basicas  que  el  desarrollo  del  programa  propicia  en  el  alumno 
segun  las  valoraciones  realizadas  por  los  profesores  son:  Entusiasmo,  de  bus- 
queda,  motivation  hatia  la  tarea  y autoestima. 

® A nivel  cognitivo  los  profesores  anaden  como  aportaciones  fundamentales  para 
los  alumnos  las  siguientes:  Atencion,  adquisicion  de  una  herramienta  concep- 
tual para  aplicarla  a situaciones  problematicas  de  la  vida  real,  aprender  a pen- 
sar en  terminos  de  solution  de  problemas,  analisis  de  situaciones  y abstraction. 

• Para  el  profesorado  que  lo  ha  llevado  a la  practica  el  programa  le  ha  aportado 
principalmente  una  nueva  forma  de  abordar  la  enserianza  de  las  matematicas, 
mayor  rigurosidad  y sistematicidad,  satisfaction  ante  la  labor  docente  y una 
estructura  didactica  que  ha  hecho  extensible  a otras  areas  del  curriculum  esco- 
lar  teniendo  como  herramienta  el  Esquema  de  Interaccion  que  gula  el  proceso 
resolutor. 

VALORACION  GLOBAL  DEL  PROGRAMA 

A modo  de  sintesis,  expondremos  algunos  puntos  que  corresponden  a una  valora- 
cion  global  del  programa  as!  como  ciertas  recomendaciones  para  futuras  implementa- 
.ciones  del  mismo.  Finalmente,  senalaremos  ciertos  puntos  que  requieren  aun  mayor 
investigation. 

® El  programa  de  Iniciacion  a la  Matematica  para  nirios  de  primer  curso  de 
Education  Primaria  ha  mostrado  resultados  satisfactorios  en  los  sujetos  de  la 
muestra  experimental.  Estos  resultados  se  aprecian  tanto  en  el  desarrollo  del 
proceso  resolutor,  en  la  consecution  de  los  objetivos  del  programa  como  en  los 
indicadores  cualitativos  estimados  por  los  profesores. 

® Los  resultados  obtenidos  podemos  entenderlo  de  caracter  exploratorio  y no 
como  una  estimacion  definitiva;  La  falta  de  control  sobre  la  interaccion  entre 
seleccion  y tratamiento  hace  necesaria  nuevas  aplicaciones  del  programa. 

® Aunque  pueda  discutirse  que  los  resultados  globales  obtenidos  tengan  una 
traduccion  en  un  incremento  real  de  rendimiento  matematico  es  innegable  su 
aportacion  como  herramienta  conceptual.  El  programa  de  Iniciacion  a las  Mate- 
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maticas  debe  considerarse  mas  un  instrumento  que  facilita  la  construccion  del 
pensamiento  matematico  que  de  incremento  de  conocimiento  matematico. 

El  curriculum  del  programa  debe  ser  mantenido  en  su  forma  actual,  salvo  en  los 
puntos  que  a criterio  de  los  profesores  necesitan  una  revision. 

Los  profesores  han  detectado  sobre  los  alumnos  claros  efectos  de  caracter  acti- 
tudinal,  cognoscitivo,  organizativo  y social.  Para  los  profesores  estos  efectos  son 
mas  potentes  que  los  meramente  cognoscitivos.  Estos  efectos  se  han  generaliza- 
do  a otras  areas  del  curriculum  escolar. 

El  desarrollo  del  programa  ha  favorecido  un  cambio  de  actitud  docente  en  los 
profesores  que  lo  han  desarrollado.  Consideran  la  experiencia  como  positiva  y 
los  cambios  detectados  los  atribuyen  inequivocamente  a la  intervencion  del 
programa. 

La  modalidad  formativa  dispuesta  (inicial,  de  seguimiento  y final)  ha  resultado 
clave  para  la  implementacion  del  programa. 

El  principal  problema  que  presenta  su  implementacion  es  la  resistencia  mostra- 
da  por  los  profesores  para  desarrollarlo  acorde  al  diseno  previsto.  La  ruptura 
que  supone  para  los  profesores  con  la  forma  en  que  tradicionalmente  se  ense- 
nan  las  matematicas. 

El  curriculum  del  programa  debe  ser  mantenido  en  su  forma  actual,  salvo  en  los 
puntos  que  a criterio  de  los  profesores  necesitan  una  revision. 

Los  profesores  han  detectado  sobre  los  alumnos  claros  efectos  de  caracter  acti- 
tudinal,  cognoscitivo,  organizativo  y social.  Para  los  profesores  estos  efectos  son 
mas  potentes  que  los  meramente  cognoscitivos.  Estos  efectos  se  han  generaliza- 
do  a otras  areas  del  curriculum  escolar. 

El  desarrollo  del  programa  ha  favorecido  un  cambio  de  actitud  docente  en  los 
profesores  que  lo  han  desarrollado.  Consideran  la  experiencia  como  positiva  y 
los  cambios  detectados  los  atribuyen  inequivocamente  a la  intervencion  del 
programa. 

La  modalidad  formativa  dispuesta  (inicial,  de  seguimiento  y final)  ha  resultado 
clave  para  la  implementacion  del  programa. 

El  principal  problema  que  presenta  su  implementacion  es  la  resistencia  mostra- 
da  por  los  profesores  para  desarrollarlo  acorde  al  diseno  previsto.  La  ruptura 
que  supone  para  los  profesores  con  la  forma  en  que  tradicionalmente  se  ense- 
nan  las  matematicas,  puede  esperarse  que  se  den  en  aplicaciones  futuras  tenien- 
do  en  cuenta  la  duracion  y los  requisitos  exigidos. 

El  ajuste  entre  lo  teoricamente  esperado  en  el  diseno  del  programa  y lo  realiza- 
do  durante  su  implementacion  se  manifiesta  tanto  en  los  resultados  mostrados 
en  relacion  al  desarrollo  del  proceso  resolutor  como  a los  logros  globales  alcan- 
zados  con  el  programa. 


Metodologia  para  la  ensenanza  de  las  matematicas  a traves  de  la  resolution  de  problemas:  un  estudio  evaluativo  197 


RECOMENDACSONES 
Sobre  el  diseno  del  programa 

® Los  profesores  han  destacado  que  algunas  actividades  del  programa  deberian 
eliminarse  y otras  actualizarse.  Entre  las  primeras  se  encuentra  la  numeracion 
casi  romana.  Esta  actividad  los  profesores  la  han  considerado  de  caracter  ana- 
cronico.  Entre  las  que  habria  que  actualizar  se  encuentra  la  de  contar  dinero. 
Elios  proponen  la  revision  de  la  actividad  en  cuanto  al  uso  de  las  monedas  que 
alii  se  trabajan. 

• En  relation  al  enunciado  de  los  problemas  (ya  sean  graficos,  mixtos  o escritos) 
estiman  que  hay  que  revisar  el  valor  adquisitivo  de  los  objetos  que  intervienen 
en  los  problemas  planteados.  Tambien  consideran  que  no  hay  una  coordinacion 
muy  estrecha  entre  el  uso  que  en  los  problemas  se  hace  sobre  medidas  de 
capacidad  y peso  y las  actividades  que  trabajan  esos  conceptos;  existen  activida- 
des relativas  a pesar  pero  ninguna  a medidas  de  capacidad. 

• Estiman  que  algunos  contenidos  que  se  imparten  en  el  programa  (numeros 
fraccionarios,  geometria,  angulos  principalmente)  exceden  los  objetivos  basicos 
para  este  nivel  educativo.  Esta  premisa  ha  influido  para  que  haya  areas  del 
programa  que  se  han  trabajado  superficialmente  o que  no  se  han  tratado. 

® Establecer  pasos  mas  graduates  entre  la  resolucion  de  problemas  de  una  opera- 
cion  y de  dos  operaciones;  estiman  que  los  cambios  entre  estos  dos  tipos  de 
problemas  son  muy  bruscos. 

• En  la  actividad  sobre  el  tamano  de  los  angulos  consideran  que  se  deberfa 
utilizar  la  denomination  usual  en  los  libros  de  textos:  angulos  agudo,  recto  y 
obtuso  en  vez  de  la  propuesta  en  el  programa  de  grande  (obtuso),  mediano 
(recto)  y pequeno  (agudo). 

• Los  profesores  estiman  la  conveniencia  de  extender  el  diseno  del  programa 
hacia  el  segundo  curso  de  este  primer  ciclo  de  Education  Primaria  con  recursos 
y actividades  adaptados  al  nivel  educativo  y en  la  misma  linea  pedagogica. 

• Redisenar  el  tipo  y niveles  de  objetivos  del  programa  para  que  el  modelo 
teorico  de  base  resulte  mas  accesible  y facilite  su  dominio  a los  profesores. 

Sobre  la  implementacion  del  programa 

• Antes  de  iniciar  una  nueva  implantation  del  programa  es  conveniente  estudiar 
las  circunstancias  concretas  del  contexto  educativo  en  el  que  se  va  a desarrollar 
para  atenuar  o evitar  el  maximo  de  problemas  institucionales.  Los  profesores 
estiman  que  el  factor  principal  que  ha  afectado  a la  implementacion  efectuada 
ha  sido  la  falta  de  tiempo.  El  comienzo  del  programa  se  realizo  un  mes  despues 
de  haberse  iniciado  el  curso  escolar  y la  temporalizacion  prevista  en  el  diseno 
del  programa  exige  la  duration  completa  del  curso  escolar. 

• Profundizar  en  la  modalidad  formativa  desarrollada  para  llevar  a cabo  el  pro- 
grama. La  formation  del  profesorado  que  lo  lleve  a sus  aulas  resulta  un  factor 
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clave  para  su  posterior  Iixito.  Los  profesores  reclaman  la  necesidad  institucional 
de  realizar  grupos  de  trabajo  que  potencien  la  formation  en  esta  metodologfa. 

Sobre  la  evaluacion  de  la  aplicacion: 

• En  futuras  aplicaciones  del  programa  seria  conveniente  disenar  mejores  y 
mas  ajustados  instrumentos  de  medicion  para  profundizar  con  mayor  preci- 
sion en  algunos  de  los  logros  que  los  profesores  han  destacado  como  funda- 
mentals: el  programa  como  herramienta  conceptual  que  les  ensena  a pen- 
sar;  y la  validez  conceptual  y metodologica  del  Esquema  de  Interaction 
como  instrumento  didactico  que  facilita  el  cambio  conceptual  en  la  ensenan- 
za  de  las  matematicas. 

• La  evaluacion  del  programa  desde  una  perspectiva  longitudinal.  Si  en  el  futuro 
el  diseno  del  programa  se  hace  extensivo  al  primer  ciclo  de  Educacion  Primaria, 
esto  nos  permitirfa  valorarlo  teniendo  como  referentes  objetivos  terminales  de 
ciclo. 

• Seria  tambien  importante  atender  en  el  futuro  a hacer  mas  extensiva  la  aplica- 
cion del  programa.  El  desarrollo  del  programa  abierto  a mas  alumnos  y profeso- 
res con  diversidad  de  caracterfsticas,  permite  profundizar  en  algunos  aspectos 
que  en  esta  implementacidn  no  han  sido  tratados. 

• Estas  recomendaciones  generales  realizadas  para  futuras  implementaciones  del 
programa  abren  ademas  lfneas  de  investigacion  para  profundizar  en  la  inter- 
vention iniciada  con  el  Programa  de  Iniciacion  a la  Matematica.  Estas  lfneas  de 
trabajo  nos  parecen  muy  utiles  para  mejorar  los  resultados  del  programa  o 
incluso  para  abrir  nuevas  perspectivas. 
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MEDIR  LA  CONDUCTA  EXPLORATORIA 

Trinidad  Donoso,  Pilar  Figuera,  Mercedes  Torrado 

Universidad  de  Barcelona 


RESUMEN 

La  importancia  de  la  conducta  exploratoria  en  la  gestion  del  proyecto  profesional-vital  estd 
ampliamente  documentada  en  la  literatura  sobre  el  desarrollo  de  la  carrera  en  las  dos  ultimas 
decadas.  Si  bien  la  conducta  de  exploracion  ocurre  a lo  largo  de  todo  el  desarrollo,  uno  de  los 
momentos  donde  adquiere  mayor  relevancia  se  produce  durante  la  etapa  de  adolescencia  y 
juventud.  La  importancia  de  esta  variable  contrasta  con  la  ausencia  de  instrumentos  para 
evaluar  la  conducta  exploratoria  de  adolescentes  y jovenes  en  procesos  de  transicion  al  mercado 
laboral,  en  un  contexto  de  empleo  que  dificulta  la  entrada  de  los  mas  jovenes  asi  como  la 
consolidacion  de  su  proyecto  profesional.  Esta  necesidad  nos  llevo  a adaptar  el  Cuestionario 
«Career  Exploration  Survey»  (Blustein;  1988)  al  contexto  espafiol.  El  articulo  describe  el 
proceso  seguido  y los  andlisis  estadxsticos  de  la  escala  que  documentan  la  adaptacion  de  la 
misma. 

ABSTRACT 

The  importance  of  the  career  exploration  along  with  the  management  of  the  vital-professio- 
nal project  has  been  broadly  documented  in  the  careers'  literature  during  the  last  two  decades. 
Although  the  career  exploration  occurs  during  the  entire  personal  development,  one  of  the  most 
outstanding  phases  is  during  the  adolescence  and  the  youth  stages.  The  importance  of  these 
phases  contrasts  with  the  lack  of  tools  to  be  able  to  evaluate  the  career  exploration  among 
adolescents  and  the  young  during  their  transitional  steps  into  the  labour  market.  A market 
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where  the  scarcity  of  job  employment  offers  holds  in  check  the  careers  of  the  youngest  as  well  as 
the  consolidation  of  their  professional  success.  The  need  for  the  proper  tools  lead  us  to  readapt 
the  « Career  Exploration  Survey»  (Blustein;  1988)  to  the  Spanish  context.  The  article  describes 
the  followed  procedures  as  well  as  the  statistical  analysis  of  the  scales  which  support  the 
conversion. 


I.  INTRODUCTION 

La  investigation  sobre  el  desarrollo  de  la  carrera  pone  de  manifiesto  el  efecto  de  la 
conducta  exploratoria  sobre  los  procesos  de  election  e insertion  socio-profesional  de 
jovenes  y adultos.  El  corpus  de  investigation  creciente  sobre  los  procesos  de  planifica- 
cion  de  los  itineraries  educativos  y profesionales  aporta  datos  relevantes  sobre  el  valor 
fundamental  de  la  conducta  desarrollada  por  la  persona,  tanto  haciendo  referenda  al 
tipo  de  conducta  como  a las  variables  relacionadas,  que  ayudan  a comprender  el 
propio  constructo. 

En  los  procesos  de  toma  de  decisiones,  la  conducta  exploratoria  aparece  como 
precursora  de  la  cristalizacion,  election  e implementation  del  proyecto  profesional. 
Asi,  investigaciones  realizadas  sobre  la  influencia  de  las  actividades  de  exploration  de 
los  jovenes  (practicas  laborales,  investigation  del  mercado  laboral,  autoexploracion, 
trabajo  voluntario),  resaltan  su  efecto  directo  sobre  las  tareas  de  desarrollo  de  la 
carrera,  al  contribuir  a la  «autorreflexion»  y el  «proceso  de  decision»,  permitiendo  la 
«elaboracion  de  planes  o proyectos  profesionales»  mas  realistas  (Blustein,  1989;  Alt- 
man y Sedlacek,  1991;  Hoyt,  1995)  y la  «cristalizacion  de  una  identidad  vocational 
(Heppner  y Cook,  1991).  Estos  resultados  incrementan  los  recursos  personales  para 
gestionar  los  procesos  de  transition,  ya  que  su  efecto  se  produce  sobre  la  efectividad 
de  los  procesos  decisorios  y la  confianza  en  la  decision,  considerandose  un  componen- 
te  esencial  de  la  madurez  de  carrera  (Super,  1994). 

Durante  la  fase  de  transition  al  mercado  laboral,  la  necesidad  de  dar  direction  al 
proyecto  profesional-vital,  a traves  de  tareas  de  carrera  como  «elegir  un  campo  ocupa- 
cional»,  «identificar  vias  de  insercion»  o «generar  redes  de  contacto»,  justifican  la 
importancia  de  la  conducta  exploratoria.  La  investigation  ha  puesto  de  manifiesto  que 
aquellas  personas  mas  implicadas  en  la  exploration  de  si  mismas  y del  ambiente 
tienen  una  mayor  conciencia  de  sus  capacidades,  valores  y aspiraciones,  realizan 
opciones  mas  congruentes  con  sus  posibilidades  y preferencias,  tienen  un  mayor 
conocimiento  de  las  vias  de  insertion  e incrementan  sus  posibilidades  de  transition; 
de  tal  manera  que  la  insertion  es  directamente  proporcional  a la  conducta  desarrolla- 
da antes  y durante  el  proceso  de  transition  al  mercado  laboral  (vease  revision  de 
investigaciones  en  Figuera,  1996).  Diversos  estudios,  realizados  en  el  contexto  interna- 
tional y en  nuestro  pais,  encuentran  evidencia  de  su  asociacion  con  los  procesos  de 
entrada  y ajuste  ocupacional  (Stefy,  Shaw  y Noe,  1989;  Blanch,  1990),  siendo  tambien 
un  precursor  de  la  satisfaction  laboral  (Stumpf,  Austin  y Hartman,  1984;  Taylor,  1985). 

Si  desde  una  perspectiva  global  puede  afirmarse  que  una  mayor  actividad  de 
busqueda  incrementa  las  posibilidades  de  insertion,  el  nivel  de  efectividad  en  la 
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prediction  del  logro  de  empleo  depende  de  variables  como  las  caracteristicas  de  la 
actividad  o tipo  de  afrontamiento  realizado,  medido  a traves  de  indicadores  como 
sistematicidad,  proaccion,  u orientation  a la  meta  (Risk,  1987),  asi  como  el  grado  de 
autonomia  personal  y el  grado  de  flexibilidad  en  la  definition  del  plan  profesional 
(Benoit-Guilbot,  1990). 

La  investigation  actual  sobre  los  procesos  de  transition  ha  obtenido  evidencias  de 
que  diversas  personas  con  cirscunstancias  y oportunidades  similares  pueden  conse- 
guir  variados  niveles  de  exito  debido  a factores  personales.  Buena  parte  de  ellos 
quedan  resumidos  en  el  constructo  de  exploration  de  la  carrera  profesional.  La  con- 
ducta exploratoria  constituye  pues  un  constructo  esencial  del  desarrollo  de  la  carrera 
y uno  de  los  focos  prioritarios  de  atencion  en  la  intervention  para  el  desarrollo  de  la 
gestion  del  proyecto  profesional  (Pereira,  1995;  Hoyt,  1995;  Rodriguez  y al.,  1995). 

2.  EL  INSTRUMENTO  ORIGINAL 

2. 1 . Antecedentes  en  la  medicion  de  la  conducta  exploratoria 

Los  antecedentes  en  el  estudio  de  la  exploration  de  la  carrera  profesional  se  inician 
desde  la  dimension  conductual  y en  la  medicion  de  la  frecuencia  y variedad  de  los 
actos  exploratorios  (information,  busqueda  de  empleo,  etc.).  Los  primeros  estudios 
dentro  del  ambito  de  la  psicologfa  experimental  entendfan  la  conducta  en  terminos  de 
refuerzo  (Berlyne,  1960),  cuya  funcion  era  obtener  information  adicional  del  medio. 
Desde  la  psicologfa  evolutiva  el  concepto  de  exploration  se  utilizara  para  etiquetar 
una  de  las  etapas  de  la  vida  donde  la  busqueda  de  una  definition  profesional  es  mas 
intensa.  Seran  los  teoricos  del  desarrollo  vocacional,  a partir  fundamentalmente  de  los 
trabajos  de  Jordaan  y Super,  quienes  definan  la  exploration  como  una  tarea  implfcita 
al  desarrollo  de  la  carrera  y se  investigue  como  base  de  la  madurez  vocacional  en 
adolescentes,  primero,  y ampliada  con  posterioridad  a todo  el  ciclo  vital.  En  este 
contexto  evolutivo,  Jordaan  (1963)  aportara  una  delimitation  estructural  del  construc- 
to, identificando  los  elementos  basicos  del  comportamiento  de  exploration  de  la  carre- 
ra conceptualizado  como  conducta  mental  o ffsica  que  permite  obtener  information 
acerca  de  uno  mismo  o de  su  medio  con  el  fin  de  tomar  decisiones,  concluir,  solucio- 
nar,  construir  hipotesis  o para  cambiar,  sentirse  estimulado  o responder  a los  retos. 
Ligado  todavfa  a una  conception  conductual,  el  analisis  de  los  determinantes  permite 
entreveer  un  acercamiento  a los  actuates  modelos  explicativos  de  la  conducta.  Jordaan 
introduce  en  su  modelo  toda  una  serie  de  factores  facilitadores  o inhibidores  de  la 
conducta  de  exploration  tanto  externos  (estimulacion  del  ambiente,  tensiones  socia- 
les,...)  como  internos  (capacidad  de  tolerar  la  tension,  la  incertidumbre  o la  ambigiie- 
dad  y a la  frustration;  la  objetividad  y aptitud  para  formar  juicios;  la  imagen  y 
confianza  en  uno  mismo;  la  automonfa,  la  madurez  y la  apertura  al  medio). 

Los  enfoques  cognitivos  traduciran  estos  elementos  dentro  de  un  modelo  mas 
global  de  exploration  donde  los  componentes  conductuales  son  efecto  y,  a la  vez 
causa,  de  los  procesos  cognitivos  y de  las  reacciones  afectivas  a los  mismos.  Este 
conjunto  de  variables  determina  la  direction  y las  consecuencias  de  la  action  en  los 
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logros  personales,  como  son  los  procesos  de  gestion  del  proyecto  profesional  (Stumpf, 
Colarelli  y Hartman,  1983;  Stumpf,  Austin  y Hartman,  1984;  Stumpf  y Lockhart,  1987; 
Stumpf,  Brief  y Hartman  1987). 

La  linea  actual  del  desarrollo  de  la  carrera  conceptualiza  la  conducta  exploratoria 
como  aquellas  accciones  cognitivas  y conceptuales  que  la  persona  realiza  con  la  finali- 
dad  de  incrementar  el  conocimiento  de  si  misma  y del  contexto  social,  educativo  y 
laboral  que  le  permiten  optimizar  sus  recursos  personales  para  una  mejor  gestion  de 
su  proyecto  profesional-vital.  La  investigacion  reciente  integra  el  estudio  del  proceso 
de  exploracion  de  la  carrera  en  el  marco  sociopersonal  donde  se  desarrolla  (Taveira  y 
otros,  1998).  Las  investigaciones  han  identificado  la  interaccion  de  los  elementos  moti- 
vacionales  e individuales  de  la  exploracion,  y tratan  de  situar  los  determinates  perso- 
nales (caracteristicas  individuales)  y sociales  (estructura  de  oportunidades)  en  un 
modelo  mas  comprensivo  (en  esta  linea  destacan  los  trabajos  de  Lent  y col.,  1994,  Lent 
y Hackett,  1994;  Lent  y Brown,  1996  y b;  Lent,  1999) 

2.2.  Modelo  teorico  de  la  escala 

La  escala  se  basa  en  las  aportaciones  de  Stumpf,  Colarelli  y Hartman  quienes 
presentan  un  modelo  integral  de  la  exploracion  profesional  que  incluye  tanto  elemen- 
tos conductuales  como  cognitivos  acerca  de  la  misma  conducta  (Stumpf,  Astin  y 
Hartman,  1984;  Stumpf,  Brief  y Hartman,  1987;  Stumpf  y Lockhart,  1987;  Blustein, 
1988,  89,  92).  En  base,  por  un  lado  a los  trabajos  pioneros  de  Berlyne  (1960)  y Jordaan 
(1963)  y,  por  el  otro,  a los  postulados  basicos  de  las  concepciones  cognitivo-conduc- 
tuales  (Bandura;  Folkman  y Lazarus),  este  modelo  representa  una  de  las  aportaciones 
teoricas  mas  representativas  del  estudio  del  constructo. 

El  modelo  tiene  como  elemento  central  el  proceso  de  exploracion,  en  su  dimension 
conductual,  que  interactua  con  dos  nucleos  de  variables:  las  creencias  (cogniciones 
acerca  de  uno  mismo  y de  su  entorno)  y las  reacciones  (de  satisfaccion  y de  estres). 
Entroncando  con  los  enfoques  cognitivos  de  la  conducta,  como  el  modelo  de  afronta- 
miento  de  Lazarus  y Folkman  y la  teoria  socio-cognitiva  de  Bandura,  el  modelo 
admite  que  el  comportamiento  es  un  precursor  importante  de  los  logros,  pero  entien- 
de  que  la  actividad  exploratoria  no  puede  limitarse  al  estimulo  o demanda  externa, 
sino  que  se  genera  en  el  marco  de  la  interpretacion  personal  de  las  demandas  ambien- 
tales. 

Una  serie  de  principios  o elementos  son  inherentes  a este  enfoque: 

1.  A traves  de  los  itineraries  o carreras  profesionales,  las  personas  se  encuentran 
con  eventos  que  tienen  que  afrontar.  El  concepto  de  exploracion  es,  pues,  un 
proceso  de  afrontamiento  de  uno  de  estos  eventos.  La  exploracion  profesional 
es  el  conjunto  de  acciones  cognitivas  y conductuales  que  de  una  manera  inten- 
cional  permiten  el  acceso  a la  informacion  sobre  trabajos,  ocupaciones  u organi- 
zaciones. 

2.  La  conducta  (donde,  como,  cuanto  y que)  es  el  resultado  de  la  interaccion  de 
procesos  cognitivos,  conductuales  y afectivos.  Como  elemento  clave  del  proceso 
de  exploracion,  la  conducta  no  solo  interactua  con  los  procesos  cognitivos  (creen- 
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CUADRO  1 

MODELO  ESTRUCTURAL  DE  LA  EXPLORACION  PROFESIONAL.  DIMENSIONES 

CONCEPTUALES 


LA  DIMENSION  CONDUCTUAL  ft 

. el  PROCESO  DE  EXPLORACION 

Las  conductas  que  una  persona  lleva  a cabo 
durante  el  proceso  de  exploracion  profe- 
sional 

Las  subdimensiones  del  proceso  se  con- 
cretan  en: 

• Donde  se  realiza  la  exploracion 

• Como  se  explora 

• Cuanto  se  explora 

• Que  se  busca 

i a niMPM^idM  rnrMiTivA  i 

» FYPFrTATTVA  Q Y CRFFMCTA^ 

LA  L/11V1C1N01U1N  LUUIM11VA  1 

Las  conductas  y percepciones  que  tiene  la 
persona  sobre  la  exploracion  profesional 

* CAr  1 A 1 1 V AD  I wlVIlCili  V.1AD 

Las  subdimensiones  del  proceso  se  con- 
cretan  en: 

• percepcion  sobre  las  condiciones  del 
mercado  de  trabajo 

• creencias  en  los  metodos  de  exploracion 

• importancia  que  se  le  dan  a las  metas 
profesionales 

T A nrMFM^TdM  AFFPTTVA  1 

k t>f a rnnwFQ  a t a fypt  or  AfidM 

LA  L/1IV1C1ND1VJ1\  ArcL  1 1 V A 1 

Los  sentimientos  que  se  experimentan  du- 
rante el  proceso  de  exploracion  profesio- 
nal 

" KEALLlwiNciD  A.  LA.  LAI  LW ArVL, iv/ IN 

Las  subdimensiones  del  proceso  se  con- 
cretan  en: 

• grado  de  satisfaccion  con  las  conductas 
realizadas 

• ansiedad  vivida  en  el  proceso. 

cias)  y afectivos  (reacciones),  sino  que,  ademas,  tiene  un  peso  importante  en  los 
logros  de  la  carrera  y constituye  un  elemento  central  del  proceso  de  insercion 
(como  bien  senalan  Stumpf,  Austin  y Hartman,  1984). 

3.  El  proceso  de  exploracion  incluye  tres  dimensiones  basicas:  la  dimension  con- 
ductual,  la  dimension  afectiva  o reacciones  a la  exploracion  y la  dimension 
cognitiva  del  proceso  o conjunto  de  creencias  de  la  persona.  Entre  ellas  se 
producen  influencias  causales  bidireccionales,  tal  como  aparece  en  el  modelo 
(vease  Donoso  Figuera  y Rodriguez,  1994). 

3.  LA  ESCALA  DE  CONDUCTA  EXPLORATORIA  (ESCE) 

El  cuestionario  CES  (Career  Exploration  Survey)  en  su  version  original  se  ajusta  a 
la  estructura  del  modelo  de  Stumpf,  Colarelli  y Hartman  (1981),  es  un  cuestionario 
multidimensional  compuesto  por  59  items  que  pretende  evaluar  la  conducta  explora- 
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CUADRO  2 

S UBD1MENSIONES  DE  LA  ESCALA  Y EJEMPLOS  DE  ITEMS  CORRESPONDIENTES 


Proceso  de  exploration 

Ejemplo  de  preguntas 

EXPLORAQ0N  AMB1ENTAL  Extension  de  la  exploration  de  la 
profesion  examinando  ocupationes,  trabajos  y organizationes  en  los 
ultimos  tres  meses.  (items  14-19) 

«cual  de  las  siguientes  actividades  has 
reahzado  durante  los  tres  ultimos  meses: 
— Obtener  information  sobre  empieos 

EXPLORAaON  INTENQONAL  Y SISTEMATICA:  Extension  con 
que  uno  adquiere  information  sobre  uno  mismo  v el  ambiente  de  una 
manera  sistematica.  (items  11-13) 

(...) 

— Adquirir  experiencias  en  diferentes 
actividades  laborales. 

AUT0-EXPL0RAQ(5N:  Extension  de  la  exploration  de  la  carrera 
que  comprende  auto-valoratidn  v retrospection  en  los  ultimos  tres 
meses.  (tans  20-24) 

(-) 

— Reflexionar  sobre  mi  rendimiento 
acaddmko 

NUMERODE  OCUPACIONES  CONSIDERADAS:  Numero  de 
diferentes  areas  ocupationales  en  las  que  uno  esta  adquiriendo 
information,  (item  25) 

— busco  information  en  un  ambito 
ocupational  versus  en  muchos  ambitos 
ocupationales. 

FRECUENQA:  Promedio  de  veces  por  semana  que  uno  busca 
information  profesional  en  un  periodo  de  dos  meses.  (item  29)  - 

— Hiantas  veces  por  semana  has  intentado 
obtener  information— 

CANTIDAD  DE  INFORMAQON:  Cantidad  de  information  adquirida 
sobre  ocupationes,  trabajos,  organizationes  v uno  mismo.  (items  1-3) 

— ^Que  grado  de  information  tienes  sobre  lo 
que  hacen  las  personas  que  trabajan  en  tu 
profesion? 

FOCCh  Seguridad  de  la  preferenda  por  una  ocuparion  particular,  trabajo 
V organization.  (items  8*10) 

— Hasta  que  punto  estas  seguio  de  conocer  el 
tipo  de  tnd»jo  que  mis  te  conviene 

Reacciones  a la  exploration 

Ejemplo  de  preguntas 

SATISFACQ6N  CON  LA  INFORMAQ6N:  Satisfaction  con  la 
la  information  obtenida  respecto  a ocupationes,  trabajos  y organizationes 
relativas  a los  propios  intereses,  capatidades  y necesidades  (items  4-7) 

«Hasta  que  punto  estas  satisfecho  con 
information  de  que  dispones  sobre*: 

— el  empleo  concrete  sobre  el  que  estas 
interesado 

TENSION  EXPLORATORIA:  Cantidad  de  tension  no  deseable  en 
relation  a otros  eventos  significativos  de  la  vida.  (items  44-46) 

«Que  ansiedad  te  ha  ocasionado/aria»: 
— enfrentarme  a procesos  de  selection. 

TENSION  DEQSORIA:  Cantidad  de  tension  no  deseable,  en  relation 
a otros  eventos  significativos  de  la  vida,  (items  47-50) 

(~) 

— decidir  lo  que  quiero  hacer. 
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Expectativas 

Ejemplo  de  preguntas 

PERSPECTIVA  PROFESSIONAL  Cuan  favorables  son  las 
posibilidades  que  uno  busca  en  un  area  profesional.  (items  26-28) 

«Indica  cuales  son  tus  expectativas  de 
conseguir  un  empleo»: 

— en  tu  campo  profesional 

INSTRUMENTAUDAD  DE  LA  BUSQUEDA  EXTERNA:  La 
probabilidad  que  explorar  el  ambiente  sobre  oportunidades 
profesionales  condudra  a obtener  metas  profesionales.  (items  37-39) 

, «Importanda  de  las  siguientes  actividades  de 
cara  a conseguir  tus  metas  profesionaJes»: 

— Conversar  con  amigos  v conoddos  acerca 
del  mundo  laboral. 

INSTRUMENTAUDAD  DE  LA  BUSQUEDA  INTERNA: 
Probabilidad  de  que  reflexionar  retrospectivamente  sobre  conductas 
profesionales  pasadas  condudra  a conseguir  las  metas  profesionales. 
(items  34-36) 

(...) 

~ Aprender  mas  acerca  de  mi  mismo. 

INSTRUMENTAUDAD  DEL  MET0D0:  Probabilidad  de  que  la 
exploradon  profesional  intendonal  v sistematica  condudra  a conseguir 
las  metas  profesionales.  (items  30-33) 

(...) 

— Planificar  cuidadosamente  la  busqueda  de 
empleo. 

IMPORTANCE  DE  OBTENER  UN  PUESTO  DE  TRABAJO 
PREFERIDO:  Grado  de  importanda  que  se  da  al  hecho  de  obtener  una 
profesibn  preferente.  (items  40-43) 

«Que  importanda  tiene  para  ti  en  este 
momento»: 

— Ocupar  un  deteiminado  nivel  profesionaL 

toria  de  acuerdo  a las  tres  dimensiones  del  modelo  presentado  (creencias,  proceso  y 
reacciones)  que  a su  vez  agrupan  otras  subdimensiones. 

La  version  utilizada  para  realizar  la  adaptacion  es  de  Blustein  (1988)  y la  traduc- 
ed y adaptacion  al  contexto  espanol  fue  realizado  por  Donoso,  Figuera  y Rodriguez 
(1994)  reduriendo  el  numero  de  items  original  de  59  a 50.  Los  criterios  para  realizar  las 
reducriones  y los  cambios  en  los  items  y dimensiones  correspondientes  puede  consul- 
tarse  en  la  publication  de  las  autoras  mencionadas  anteriormente  y la  publication  de 
la  escala  en  Rodriguez  Moreno,  (1999). 

En  las  tablas  siguientes  se  espetifican  las  subdimensiones  del  modelo  junto  con  un 
ejemplo  de  preguntas  y entre  parentesis  los  items  que  corresponden  a cada  dimension 
y su  organization  en  la  escala  adaptada. 

4.  EL  PROCESO  DE  ADAPTACION  DE  LA  ESCALA  AL  CONTEXTO  ESPANOL 

4. 1 . Description  y analisis  de  los  resultados 

Para  poder  validar  la  adaptation  realizada  de  la  escala  ESCE  se  procedio  durante  el 
curso  academico  1997-98  a efectuar  un  pase  piloto  de  la  escala  a un  total  de  125  sujetos 
de  Ciclos  Formativos  (CF)  de  Grado  Medio  y de  Grado  Superior  y de  Formation 
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Profesional  se  segundo  grado  (FP  II)  de  centros  publicos  de  la  ciudad  de  Barcelona  y 
comarca.  Para  ello  dispusimos  de  la  colaboracion  de  los  tutores  y tutoras  responsables 
de  los  respectivos  grupos. 

La  descripcion  de  los  resultados  de  la  escala  en  esta  muestra  se  presentan  en  el 
artfculo  La  conducta  exploratoria:  concepto  y aplicaciones  en  orientacion  profesional  a cargo 
de  Rodriguez,  M.L,  Buisan,  C y Sandin,  M.P.  (en  prensa). 

En  el  presente  artfculo  unicamente  abordaremos  la  descripcion  y analisis  intemo 
de  los  items,  para  de  este  modo  validar  el  constructo  teorico  propuesto  y validar 
internamente  la  consistencia  de  los  items.  Para  ello  se  se  ha  utilizado  el  programa 
estadfstico  SPSS-Win  (version  8.0)  en  el  calculo  de  todas  las  pruebas  estadfsticas: 
Analisis  factorial  y analisis  de  la  consistencia  interna. 

4.2.  Analisis  factorial 

Para  poder  confirmar  las  dimensiones  y subdimensiones  de  la  escala  ESCE,  se  ha 
utilizado  el  analisis  factorial  como  tecnica  analftica  multivariada  que  nos  permitira 
reducir  el  conjunto  de  los  50  items  propuestos  en  nuestra  adaptation,  a unos  pocos 
factores  o dimensiones. 

Dentro  de  las  posibilidades  que  permite  este  analisis  se  ha  optado  por  aplicar  el 
analisis  de  los  componentes  principales  (ACP),  por  ser  el  mas  apropiado  para  el 
estudio  de  escalas  cuya  estructura  y dimensionalidad  ya  habfan  sido  objeto  de  analisis 
previos  en  versiones  anteriores,  como  es  el  caso  de  la  presente  escala.  Este  analisis 
consiste  en  condensar  la  matriz  de  correlaciones  entre  las  variables  en  unos  «compo- 
nentes  principales»  de  la  variabilidad  total;  es  decir,  el  ACP  es  una  tecnica  estadfstica 
que  permite  transformar  un  conjunto  de  variables  intercorrelacionadas  en  otro  con- 
junto  de  variables  no  correlacionadas  denominadas  factores  (Bisquerra,  1989). 

Previamente  al  analisis  factorial  se  han  confirmado  que  las  condiciones  de  las 
variables  y valores  son  apropiados  para  este  tipo  de  analisis  mediante  el  calculo  del 
determinante  de  correlacion,  la  prueba  KMO  (Kaiser-Meyer-Olkin)  y el  test  de  esfericidad  de 
Barlett. 

En  la  siguiente  tabla  se  presentan  los  resultados  del  analisis  factorial  de  la  matriz 
rotada,  mediante  la  aplicacion  del  metodo  VARIMAX.  Los  items  no  se  han  ordenado 
segun  sus  saturaciones  en  los  15  factores  resultantes,  sino  segun  el  orden  de  aparicion 
en  la  escala,  de  esta  forma  las  saturaciones  de  los  factores  no  estan  ordenadas;  con  la 
finalidad  de  facilitar  la  lectura  de  adecuacion  o no  a las  15  subdimensiones  contempla- 
das  en  el  instrumento  y que  componen  las  tres  dimensiones  (PROCESO  DE  EXPLO- 
RACI6N,  REACCIONES  A LA  EXPLORAClON  Y EXPECTATIVAS)  Para  ello  se 
separan  cada  una  de  ellas  con  una  lfnea  gruesa. 
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TABLA  1 

anAlisis  factorial  de  la  escala  esce 

FACTORES 
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0,4889  , 

1 

i °'3924 1 i 

i 

I 

Item3 

1 

1 1 1 

1 

1 

i i i 

1 
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Este  primer  analisis  factorial  confirma  la  existencia  de  15  dimensiones  que  coinci- 
den,  en  la  gran  mayoria,  a las  subdimensiones  contempladas  en  el  constructo  teorico. 
Con  estos  15  factores  se  explica  el  74%  de  la  varianza.  Existen,  sin  embargo,  algunas 
excepciones.  En  concreto  el  item  3 ( Dificultades  para  saber  mi  futuro  profesional ) constitu- 
ye  el  solo  el  factor  13,  desligandose  de  la  subdimension  Cantidad  de  informacion;  el 
item  6 ( Los  tipos  de  organizaciones  laborales  y empresas  que  mas  pueden  adecuarse  a tus 
necesidades  personales)  es  junto  con  el  item  50  ( Decidirme  sobre  que  organizaciones  o 
empresas  pueden  convenirme  mas ) los  dos  elementos  que  engloba  el  factor  11,  lo  mismo 
sucede  con  los  items  13  y 14.  El  resto  de  factores,  tal  y como  se  puede  observar  en  el 
cuadro  resumen  coinciden  con  las  subdimensiones. 

Por  otro  lado  items  como  el  12,  el  29,  el  45  y el  49  no  se  destacan  por  tener  una 
saturacion  en  algun  factor  concreto,  si  no  que  mas  bien  se  distribuyen  entre  varios  con 
niveles  de  saturacion  menores  a 0,466.  La  confeccion  de  cuadro  3 resume  los  resulta- 
dos  comparandolos  con  el  constructo  que  se  pretende  confirmar. 

CUADRO  3 

RESUMEN  COMPARATIVO  DE  LAS  DIMENSIONES  TEdRICAS  Y LAS 
RESULTANTES  EN  EL  ANALISIS  FACTORIAL  DE  TOD  A LA  ESCALA 


CONSTRUCTO  TEORICO 

DIMENSIONES  CONFIRMADAS 

Subdimensiones 

Items  contemplados 

Items  confirmados 

FACTORES 

Exploracion  Ambiental 

Del  13  al  19 

Del  15  al  19 

FACTOR  1 

UJ  ^ 

5 ~2 

n <-> 

Autoexploracion 

Del  20  al  24 

Del  20  al  24 

FACTOR  2 

CO  <J 

U O 

N°  Ocupaciones  consideradas 

El  item  25 

O -j 

rvj  C-h 

“ a 

Intencionalidad  Sistematica 

Del  11  al  12 

El  item  11 

FACTOR  10 

M-l 

Frecuencia 

El  item  29 

Cantidad  de  informacion 

Del  1 al  3 

Del  1 al  2,  del  8 al  10 

FACTOR  4 

Foco 

Del  8 al  10 

tu  O 

Z r \ 

Satisfaccion  con  la  informacion 

Del  4 al  7 

Del  4 al  5 y el  7 

FACTOR  9 

8 3 2S 

O Q 

Tension  de  exploracion 

Del  44  al  46 

El  item  46 

FACTOR  14 

i fe 

W UJ 

Tension  de  decision 

Del  47  al  50 

Del  47  y 48 

FACTOR  5 

Perspectiva  de  empleo 

Del  26  al  28 

Del  26  al  28 

FACTOR  7 

< 

> 

Instrumentalidad  de  la  busqueda  externa 

Del  37  al  39 

El  38  y 39 

FACTOR  12 

E— > 
< 

h 

Instrumetalidad  de  la  busqueda  intema 

Del  34  al  36 

Del  34  al  36 

FACTOR  3 

cu 

CLh 

X 

Instrumentalidad  del  metodo 

Del  30  al  33 

Del  30  al  33 

FACTOR  6 

cu 

Importancia  obtener  posicion  deseada 

Del  40  al  43 

Del  40  al  43 

FACTOR  8 

Se  ha  realizado  tambien  un  analisis  factorial  agrupando  los  items  segun  las  tres 
dimensiones  para  confirmar  la  existencia  de  factores  diferenciados  dentro  de  ellas. 
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La  dimension  PROCESO  DE  EXPLORAClt)N  esta  explicada  en  un  60,4%  por  cinco 
factores.  De  los  cuales  dos  (factor  2 y 3)  coinciden  con  la  subdimension  del  constructo 

(autoexploracion  y foco). 

A la  luz  de  los  resultados  se  observa  que  el  item  3 ( Tengo  dificultades  para  saber  en 
que  trabajare  yo  en  el  futuro,...)  tiene  su  mayor  peso  en  la  subdimension  Foco  y no  en 
Capacidad  de  informacion,  no  obstante  presen ta  una  saturation  baja  con  respecto  al 
resto  de  items  de  esta  dimension;  que  el  item  12  (Buscar  los  medios  para  profundizar  en  el 
conocimiento  de  mis  capacidades ) esta  muy  repartido  entre  los  factores  3 y 4 y por  ultimo 
que  el  item  25  (En  estos  momentos  estoy  buscando  informacion  principalmente  en  una 
ocupacion/  Busco  informacion  sobre  muchos  campos  ocupacionales)  esta  repartido  entre  el 
factor  1 y 4. 


TABLA  2 

anAlisis  FACTORIAL  POR  DIMENSIONES.  DIMENSION  PROCESO  DE 

exploraciOn 


Subdimension 

ITEMS 

Factor  1 

Factor  2 

Factor  3 

Factor  4 

Factor  5 

Capacidad  de  informacion 

ITEM  1 

0,84128 

ITEM  2 

0,76496 

ITEM  3 

0,23312 

0,37640 

0,23600 

Foco 

ITEM  8 

0,76007 

ITEM  9 

0,67863 

ITEM  10 

0,80511 

Explointencion 

ITEM  11 

0,83230 

ITEM  12 

0,42482 

0,44454 

Exploracion  Ambiental 

ITEM  13 

0,60866 

ITEM  14 

0,69357 

ITEM  15 

0.83382 

ITEM  16 

0,74658 

ITEM  17 

0,56975 

ITEM  18 

0,62667 

ITEM  19 

0,68493 

Autoexploracion 

ITEM  20 

0,72428 

ITEM  21 

0,74657 

ITEM  22  x 

0,77034 

ITEM  23 

0,78726 

ITEM  24 

0,63209 

N°  de  Ocupaciones 

ITEM  25 

0,33989 

0,37099 

Frecuencia 

ITEM  29 

0,40907 

% VAR 

30,1% 

11% 

8,9% 

5,5% 

4,9% 
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En  la  dimension  REACCIONES  A LA  EXPLORAClC)N  son  tres  los  factores  que 
aparecen,  de  los  cuales  dos  coinciden  en  su  totalidad  a la  subdimension  contemplada. 
La  unica  discrepancia  radica  en  el  item  44  ( Buscar  information  sobre  mis  preferences 
profesionales)  ya  que  es  el  unico  que  no  se  adecua  al  factor  correspondiente,  es  decir,  su 
saturacion  es  mayor  en  el  factor  1 donde  se  engloba  la  totalidad  de  preguntas  de  la 
subdimension  Tension  en  la  decision,  aunque  su  peso  esta  repartido  tambien  en  el 
factor  3. 


TABLA  3 

ANALISIS  FACTORIAL  POR  DIMENSIONES.  DIMENSION  REACCIONES  A LA 

exploraciOn 


Subdimension 

ITEMS 

Factor  1 

Factor  2 

Factor  3 

Satisfaction  con  la  information 

ITEM  4 

0,75160 

ITEMS 

0,84818 

ITEM  6 

0,69128 

ITEM  7 

0,66073 

Tension  en  la  exploration 

ITEM  44 

0,52408 

0,47915 

ITEM  45 

0,84909 

ITEM  46 

0,59025 

Tension  en  la  decision 

ITEM  47 

0,80713 

ITEM  48 

0,82039 

ITEM  49 

0,71618 

ITEM  50 

0,63902 

% VAR 

29,1% 

20,9% 

9,4% 

El  estudio  de  la  dimension  EXPECTATIVAS  presenta  la  agrupacion  de  sus  items 
en  cinco  factores,  coincidiendo  casi  en  su  totalidad  a las  cinco  subdimensiones  de  esta 
dimension  de  la  escala.  Existen,  no  obstante,  dos  items,  el  33  ( Autoevaluarme  con  el  fin 
de  encontrar  un  trabajo  adecuado  para  mi)  y el  37  ( Obtener  information  sobre  el  mercado 
laboral  y sobre  oportunidades  de  trabajo  en  mi  area  profesional)  que  se  ubican  en  subdimen- 
siones diferentes. 

A modo  de  conclusion  el  analisis  factorial  por  dimensiones  ha  confirmado  la  con- 
sistency de  las  subdimensiones  existentes  en  cada  una  de  las  dimensiones  contempla- 
das  en  la  Escala.  Los  items  3 y 25  son  los  unicos  que  presentan  una  dispersion  entre  los 
diferentes  factores.  Otros  items  como  el  12  y el  44  su  peso  explicativo  esta  repartido 
casi  en  igualdad  entre  dos  factores.  Y los  items  13  y 14  de  la  dimension  Proceso  de 
exploracion  y los  items  33  y 37  de  la  dimension  Expectativas  son  los  unicos  que  no  se 
encuentran  en  los  factores  correspondientes. 

De  los  resultados  del  analisis  factorial  de  la  escala  ESCE  tanto  al  nivel  de  toda  la 
escala  como  por  dimensiones  se  pueden  extraer  las  siguienes  conclusiones: 

® Se  puede  afirmar  que  en  general  las  dimensiones  saturan  en  factores  indepen- 
dientes,  de  lo  que  se  deduce  que  el  analisis  de  la  conducta  exploratoria  debe 
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TABLA  4 

anAlisis  factorial  por  DIMENSIONES.  DIMENSION  expect ativ as 


Subdimension 

ITEMS 

Factor  1 

Factor  2 

Factor  3 

Factor  4 

Factor  5 

Perspectiva  Profesional 

ITEM  26 

0,82782 

ITEM  27 

0,91041 

ITEM  28 

0,76364 

Instrumentalidad 

ITEM  30 

0,81973 

del  me'todo 

ITEM  31 

0,81889 

ITEM  32 

0,64427 

ITEM  33 

0,61120 

Instrumentalidad  de 

ITEM  34 

0,83024 

la  busqueda  interna 

ITEM  35 

0,64075 

ITEM  36 

0,87325 

Instrumentalidad  de 

ITEM  37 

0,63250 

la  busqueda  externa 

ITEM  38 

0,75262 

ITEM  39 

0,72777 

Importancia  obtener  trabajo 

ITEM  40 

0,62480 

r 

ITEM  41 

0,84928 

ITEM  42 

0,66912 

ITEM  43 

0,61691 

% VAR 

31,2% 

13,6% 

9,9% 

7,1% 

6% 

tener  en  cuenta  estas  dimensiones  y subdimensiones  como  aspectos  relevantes 
en  el  estudio  del  constructo. 

® Que  el  item  3 manifiesta  un  comportamiento  diferencial  con  respecto  al  resto  de 
los  items  tanto  a nivel  de  toda  la  escala  (constituyendo  un  solo  factor)  como  a 
nivel  de  dimension  Proceso  de  Exploration  (presentado  una  dispersion  de  satu- 
ration en  los  cinco  factores  resultantes). 

4.3.  Analisis  de  la  vaiidez  interna 

Para  constatar  la  consistencia  interna  de  la  escala  ESCE  se  han  calculado  varios 
indices  que  en  su  conjunto  nos  ayudaran  a confirmar  o no  nuestro  objetivo:  que  la 
escala  es  consistente  y por  lo  tanto  fiable. 

Los  resultados  que  se  presentan  hacen  referencia  al  estudio  de  las  dimensiones  y 
subdimensiones  que  componen  la  Conducta  exploratoria  y a los  items  que  constituyen 
la  escala. 

Segun  la  tabla  4 todas  las  intercorrelaciones  entre  dimensiones  son  positivas  y 
significativas.  Lo  cual  parece  evidenciar  que  todas  las  dimensiones  miden  el  mismo 
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construct*).  Ahora  bien,  si  analizamos  las  correlaciones  de  cada  dimension  observa- 
mos  que  existe  una  elevada  correlacion  interna  con  algunos  matices  pero  que  en 
cualquier  caso  todos  los  valores  obtenidos  presentan  una  signification  estadistica 
(1%).  ‘ , 

e en  la  dimension  PROCESO  DE  EXPLORACION  las  correlaciones  entre  sus  siete 
subdimensiones  son  todas  significativas  oscilando  entre  0,5115  (Autoexplora- 
cion)  y 0,7851  (Exploracion  ambiental). 

® en  la  dimension  REACCIONES  A LA  EXPLORACION  la  subdimension  que 
presenta  una  correlacion  menor  pero  significativa  con  un  margen  de  error  del 
1%  es  Satisfaction  con  la  information  (0,4302),  asimismo,  la  que  presenta  mayor 
grado  de  relacion  es  Tension  de  decision  (0,8403). 

® en  la  ultima  dimension  del  constructo,  EXPECTATIVAS  la  mayoria  de  subdi- 
mensiones presentan  un  grado  similar  de  relacion  (valores  alrededor  0,75), 
unicamente  las  dimensiones  Perspectivas  profesionales  e Importancia  de  obtener  un 
trabajo  presentan  valores  menores  (0,4858  y 0,6580  respectivamente). 

TABLA  5 

INTERCORRELACIONES  ENTRE  DIMENSIONES  DE  CONDUCTA  EXPLORATORIA 


DIMENSIONES 

DIMENSIONES 

TOTAL 

Proceso  de 
Exploracion 

Reacciones  a 
la  exploracion 

Expectativas 

Proceso  de  Exploracidn 

0.3317** 

0,4276** 

0,7270** 

Reacciones  a la  exploracion 

0,5791** 

0,8018** 

Expectativas 

0,8423** 

Con  respecto  al  analisis  de  los  items,  se  ha  procedido,  por  un  lado,  a calcular  el 
grado  de  relacion  existente  entre  los  items  y el  total  de  su  dimension  asi  como  con  el 
total  de  la  escala.  Por  otro  se  ha  calculado  el  Alpha  de  Cronbach  que  es,  indudable- 
mente,  uno  de  los  indicadores  mas  potentes  para  medir  la  consistencia  interna  de  un 
inStrumento.  Y por  ultimo  y mediante  la  contestation  de  las  medias  del  grupo  de 
pesima/baja  conducta  exploratoria  y alta/ optima  conducta  exploratoria,  se  ha  calcu- 
lado el  indice  de  discrimination  de  cada  item. 

Tal  y como  aparece  en  la  tabla  6 el  Alpha  de  Cronbrach  obtenido  de  toda  la  escala 
es  de  0,8967,  coeficiente  que  confirma  que  todas  las  puntuaciones  proporcionadas  por 
la  escala  son  fiables.  El  analisis  de  la  consistencia  por  dimensiones  ofrece  unos  indices 
de  fiabilidad  que  oscilan  entre  0,7336  (dimension  REACCIONES  A LA  EXPLORA- 
Cl6N)  y 0,8841  (dimension  PROCESO  DE  EXPLORACION).  El  menor  indice  de  fiabi- 
lidad obtenido  puede  ser  debido  por  el  numero  de  items  que  engloba  esta  dimension 
(11  preguntas). 


O 

4, 
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TABLA  6 

Indices  de  homogeneidad  y fiabilidad 


CORRELACION 


Media 

Desv.  tfpica 

Subdimension 

Dimension 

TOTAL 

PROCESO  DE 

Iteml 

2,73 

0,989 

0,7765** 

0,4906** 

0,2980** 

EXPLORACltfN 

Item2 

2,58 

0,969 

0.7756** 

0,5548** 

0,3712** 

Item3 

3,02 

1,162 

0,6519** 

0,2192* 

0,1681 

Item8 

3,13 

1,143 

' 0,8156** 

0,5607** 

0,3254** 

Item9 

3,09 

1,094 

0,8033** 

0,5125** 

0,4460** 

Iteml 

3,42 

1,059 

0,8462** 

0,5213** 

0,3605** 

Iteml 

2,82 

1,338 

0,8884** 

0,5729** 

0,3385** 

Iteml 

2,77 

1,098 

0,8284** 

0,6972** 

0,4573** 

Iteml 

2,92 

1,348 

0,7300** 

0,5756** 

0,2884** 

Iteml 

2,65 

1,240 

0,7344** 

0,6810** 

0,4503** 

Iteml 

1,98 

1,220 

0,7335** 

0,4587** 

0,1842 

Iteml 

2,47 

1,305 

0,8042** 

0,6328** 

0,4314** 

Iteml 

2,62 

1,266 

0,6950** 

0,5336** 

0,3269** 

Iteml 

2,76 

1,668 

0,7464** 

0,4711** 

0,3173** 

Iteml 

2,55 

1,103 

0,7173** 

0,6907** 

0,4267** 

Item2 

3,23 

1,103 

0,7271** 

0,3109** 

0.1708 

Item2 

3,62 

1,068 

0,7651** 

0,3780** 

0,3057** 

Item2 

3,23 

1,282 

0,7813** 

0,2846** 

0,2682** 

Item2 

3,78 

1,077 

0,7946** 

0,4021** 

0,4027** 

Item2 

3,30 

1,205 

0,7523** 

0,5568** 

0,4232** 

Item2 

3,00 

1,205 

1.000 

0,6145** 

0,5253** 

Item2 

1,67 

0,881 

1.000 

0,6410** 

0,4248** 

REACCIONES  A LA 

Item4 

2,86 

0,901 

0,7334** 

0,3676** 

0,3994** 

exploraci<5n 

Item5 

2,99 

0,920 

0,8442** 

0,2907** 

0,3269** 

Item6 

2,62 

1,014 

0,6993** 

0,3406** 

0,3952** 

Item7 

3,31 

1,043 

0,7065** 

0,2799** 

0,4197** 

Item4 

3,30 

1,157 

0,7282** 

0,6264** 

0,4527** 

Item4 

3,52 

1,230 

0,7597** 

0,4798** 

0,3327** 

Item4 

3,82 

1,192 

0,7385** 

0,6192** 

0,4142** 

Item4 

3,50 

1,346 

0,8142** 

0,6415** 

0,3389** 

Item4 

3,54 

1,226 

0,8183** 

0,6830** 

0,4144** 

Item4 

3,41 

1,203 

0,7484** 

0,6032** 

0,4424** 

Item5 

3,40 

1,289 

0,6879** 

0,6546** 

0,5354** 

EXPECTATIVAS 

Item26 

3,26 

1,135 

0,8301** 

0,4135** 

0,4120** 

Item27 

3,14 

1,053 

0,9113** 

0,4677** 

0,5026** 

Item28 

2,88 

1,154 

0,7995** 

0,3554** 

0,3565** 

Item30 

3,62 

1,175 

0,8156** 

0,5810** 

0,4710** 

Item31 

3,78 

1,097 

0,8366** 

0,6266** 

0,5107** 

Item32 

3,62 

1,091 

0,7354** 

0,5200** 

0,3755** 

Item33 

3,67 

1,162 

0,7259** 

0,6855** 

0,6319** 

Item34 

3,46 

1,228 

0,8745** 

0,6510** 

0,5971** 

Item35 

3,48 

1,209 

0,8016** 

0,7084** 

0,5815** 

Item36 

3,38 

1,210 

0,8862** 

0,5893** 

0,5254** 

Item37 

3,97 

1,070 

0,6965** 

0,6141** 

0,4712** 

Item38 

3,80 

1,085 

0,7921** 

0,4762** 

0,2945** 

Item39 

3,78 

1,097 

0,7598** 

0,5823** 

0,4895** 

Item40 

3,77 

1,206 

0,7086** 

0,4465** 

0,3250** 

Item41 

3,90 

1,073 

0,7807** 

0,4408** 

0,2984** 

Item42 

3,52 

1,161 

0,7259** 

0,4989** 

0,3575** 

Item43 

4,33 

0,990 

0,7361** 

0,5624** 

0,4400** 

ALPHA  de  CRONBACH  = 0,8967 

ALPHA  de  la  Dimension  PROCESO  DE  EXPLORACK^N  = 0,8841 
ALPHA  de  la  Dimension  REACCIONES  A LA  EXPLORACI^N  = 0,7336 
ALPHA  de  la  Dimension  EXPECT ATIV AS  = 0,8516 

* significativo  con  un  margen  de  error  5%,  ” significativo  con  un  margen  de  error  1% 


BEST  COPY  AVASLAd 
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Ahora  bien,  un  estudio  detallado  de  la  influencia  de  cada  item  en  la  fiabilidad  total 
tanto  al  nivel  de  toda  la  escala  como  al  nivel  de  la  dimension  nos  dice  que: 

® La  fiabilidad  total  de  la  escala  aumentaria  ligeramente  si  se  eliminaran  los  items 
3,  45  y 47  obteniendose  un  alpha  de  0,8977,  0,8974  y 0,8975  respectivamente. 

® Que  la  fiabilidad  de  la  dimension  de  PROCESO  DE  EXPLORAClQN  aumenta- 
ria si  se  eliminase  el  item  3 presentando  un  alpha  de  0,8893. 

° En  la  dimension  REACCIONES  A LA  EXPLORAClt)N  si  eliminasemos  el  item 
7 se  apreciarian  algunas  diferencias  en  la  fiabilidad  aumentando  a un  0,7407. 

® Y en  la  ultima  dimension  EXPECT ATIV AS  la  fiabilidad  aumentaria  su  valor  si 
no  apareciese  la  pregunta  28  (0,8559). 

Otra  forma  de  estudiar  la  consistencia  interna  es  mediante  la  homogeneidad  de  sus 
items,  es  decir,  el  hecho  de  que  cada  uno  de  los  items  mida  una  parte  proporcional  de 
lo  que  mide  la  prueba  en  su  conjunto. 

En  la  tabla  6 aparecen  los  diferentes  indices  de  homogeneidad  calculados,  median- 
te la  correlacion  de  PEARSON  de  cada  item  con  el  total  de  la  escala,  el  total  de  la 
dimension  correspondiente  y el  total  de  la  subdimension.  Se  comprueba  que  la  mayo- 
ria  de  los  items  guardan  una  correlacion  significativa  con  el  total,  unicamente  cabe 
destacar  que  en  los  items  3 (Tengo  dificultades/claro  -para  saber  en  que  trabajare . . .),  15 
(Asistir  a algun  servicio  o programa  de  orientacion  profesional)  y 20  (Reflexionar  sobre  la 
relacion  entre  mi  pasado  escolar  y mi  futuro  profesional)  el  resultado  de  la  correlacion  ha 
sido  no  significativo,  sin  embargo,  estas  mismas  preguntas  en  el  estudio  de  la  relacion 
con  su  dimension  y subdimension  el  resultado  si  ha  sido  significativo,  con  un  margen 
de  error  del  1%  y siendo,  en  todos  los  casos,  el  coeficiente  de  correlacion  menor  de  su 
dimension. 

Son  las  preguntas  «autoevaluarme  para  encontrar  trabajo»,  «aprender  mas  de  mi  mismo» 
y «comprender  la  relacion  entre  mi  conducta  pasada  con  la  futura»  las  que  mayor  homoge- 
neidad presentan  con  respecto  a la  escala  total. 

4.4.  Indice  de  Discriminacion 

Este  indice  nos  ayudara  a distinguir  las  preguntas  de  la  escala  que  discriminan  la 
optima  o pesima  conducta  exploratoria.  Este  indice  se  ha  calculado  a partir  de  la 
aplicacion  de  la  prueba  parametrica  t student  (todos  los  items  siguen  la  Ley  Normal), 
contrastando  las  medias  del  grupo  con  menor  puntuacion  obtenida  en  la  escala  con  el 
grupo  con  mayor  puntuacion. 

El  estudio  se  ha  aplicado  tanto  a las  subdimensiones  y dimensiones  de  la  escala 
como  a los  50  items  de  la  escala.  La  tabla  7 presenta  los  resultados  obtenidos  para  cada 
pregunta,  dado  que  los  resultados  obtenidos  por  dimensiones  y subdimensiones  nos 
alumbran  que  todas  ellas  son  significativamente  discriminativas,  aunque  la  subdi- 
mension que  menor  grado  de  discriminacion  presenta  es  la  de  REACCIONES  A LA 
EXPLORAClQN. 

Tal  y como  aparece  en  la  tabla  7 la  mayoria  de  los  items  discriminan  las  conductas 
exploratorias.  De  los  items  que  han  resultado  ser  no  discrimintativos  tres  correspon- 
den  con  indices  de  homogeneidad  tambien  bajos  (preguntas  3,  15  y 20);  los  tres 
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pertenencen  a la  misma  dimension,  PROCESOS  DE  EXPLORACION  aunque  en  sub- 
dimensiones  diferentes,  Cantidad  de  informacion,  Exploracion  Ambiental  y Autoex- 
ploracion,  destacandose  esta  ultima  por  presentar  los  indices  de  discriminacion  mas 
bajos. 

Los  items  40  y 41  pertenecientes  a la  subdimension  Importancia  obtener  trabajo 
dentro  de  la  dimension  EXPECTATIVAS,  presentan  resultados  no  significativos  y en 
general  se  aprecia  que  la  totalidad  de  items  que  engloban  esta  subdimension  (40-43) 
no  son  muy  discriminativos. 


TABLA  7 

Indice  de  discriminacion  de  los  Items  de  la  escala 

(*  SIGNIFICATIVO  5%,  **  SIGNIFICATIVO  1%) 


Proceso  de  Exploracion 

Reacciones  de  Exploracion 

Expectativas 

ITEM 

Valor  t student 

ITEM 

Valor  t student 

ITEM 

Valor  t student 

Iteml 

4.13** 

Item  4 

4.29** 

Item  26 

5.00** 

Item  2 

4.98** 

Item  5 

2.62* 

Item  27 

6.07** 

Item  3 

1.74 

Item  6 

4.02** 

Item  28 

3.63* 

Item  8 

4.11** 

Item  7 

4.71** 

Item  30 

5.02** 

Item  9 

5.85** 

Item  44 

4.88** 

Item  31 

4.90** 

Item  10 

3.89** 

Item  45 

2.83* 

Item  32 

3.75** 

Item  11 

2.84* 

Item  46 

3.73** 

Item  33 

7.08** 

Item  12 

5.28** 

Item  47 

3.37* 

Item  34 

6.43** 

Item  13 

3.20* 

Item  48 

4.36** 

Item  35 

5.89** 

Item  14 

4.84** 

Item  49 

v.  4.49** 

Item  36 

5.92** 

Item  15 

1.28 

Item  50 

5.52** 

Item  37 

3.87** 

Item  16 

4.01** 

Item  38 

3.00* 

Item  17 

3.49* 

Item  39 

■5.15** 

Item  18 

3.72** 

Item  40 

1.59 

Item  19 

4.23** 

Item  41 

1.58 

Item  20 

1.41 

Item  42 

2.71* 

Item  21 

2.27* 

Item  43 

3.45* 

Item  22 

2.03* 

Item  23 

3.43* 

Item  24 

4.35** 

Item  25 

6.37** 

Item  29 

4.14** 

Podemos  destacar  que  del  resto  de  items  que  si  son  discriminativos,  los  que  mejor 
discriminan  corresponden  a las  preguntas  «aprender  mas  de  mi  mismo»,  «expectativas  en 
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aquellos  trabajos  que  prefieres  en  tu  area  profesionah  y «en  estos  momentos  estoy  buscando 
information  principalmente  en  una  ocupacidn». 

5.  CONCLUSIONES 

El  analisis  estadistico  de  la  escala  demuestra  la  adecuacion  de  la  misma  para  el 
diagnostico  del  constructo  de  exploracion  de  carrera  cuya  importancia  ha  sido  docu- 
mentada  en  los  procesos  de  transicion  de  los  jovenes.  Consideramos  que  queda  justi- 
ficada  la  importancia  del  instrumento  para  evaluar  la  conducta  exploratoria  de  adoles- 
centes  y jovenes  en  proceso  de  transicion  al  mercado  laboral. 

El  analisis  de  la  escala  muestra  la  importancia  de  diferenciar  las  dimensiones 
cognitiva,  conductual  y afectiva  de  los  procesos  de  exploracion  de  la  carrera,  tanto  en 
contextos  diagnosticos  como  de  intervencion,  campo  este  ultimo  donde  estamos  asis- 
tiendo  a importantes  avances  en  el  desarrollo  de  programas.  Una  revision  actualizada 
puede  verse  en  el  trabajo  de  Rodriguez  Moreno  (1999).  A partir  de  una  conceptualiza- 
tion del  constructo  de  exploracion  la  autora  propone  diferentes  instrumentos  de  diag- 
nostico y programas  para  su  desarrollo  en  jovenes. 

Sin  duda,  es  necesario  continuar  trabajando  en  la  escala  y realizar  otros  estudios  de 
validation,  sobre  todo  dirigidos  a poblaciones  espetificas,  como  jovenes  en  vias  de 
exclusion,  cuyo  proceso  de  intervencion  reclama  acciones  sistematicas  contundentes. 
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RESUMEN 

En  este  arti'culo  se  realiza  una  aproximacion  a las  diversas  posturas  acerca  de  los  criterios 
de  rigor  cientifico  en  la  investigacion  cualitativa.  Para  ello,  se  presenta  una  revision  del 
significado  que  hoy  en  di'a  ha  adquirido  el  concepto  de  «validez»  en  el  marco  de  las  ciencias 
sociales  enfatizando  su  re-elaboracion  en  terminos  de  construccion  social  del  conocimiento. 
Asimismo  se  presenta  un  recorrido  desde  los  enfoques  pos-positivistas  hasta  el  pensamiento 
posestructural  en  relacion  a la  credibilidad  de  los  resultados  obtenidos  en  los  estudios  cualita- 
tivos.  Tambien,  se  recogen  algunos  estandares  de  validez  aplicables  tanto  a la  investigacion 
cuantitativa  como  cualitativa  y los  procedimientos  mas  utilizados  en  la  practica  investigadora 
para  garantizar  los  criterios  de  validez. 

ABSTRACT 

In  this  paper  it  is  carried  out  an  approach  to  the  diverse  postures  about  the  scientific  rigor 
in  qualitative  research.  It  exposes  a revision  of  the  meaning  that  the  concept  of  «validity»  has 
acquired  lately  in  social  sciences  emphasizing  its  re-elaboration  in  terms  of  social  construction 
of  the  knowledge.  Also  it  is  presented  a view  in  relation  to  the  credibility  of  the  results  obtained 
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in  qualitative  studies  from  postpositivism  until  poststructuralism  thought.  Also,  some  stan- 
dards of  validity  applicable  so  much  to  the  quantitative  investigation  as  qualitative  are  showed 
and  the  procedures  more  used  in  the  research  practice  to  guarantee  validity  criteria. 


1.  INTRODUCCION 

Los  criterios  de  rigor  cientifico  en  la  investigation  cualitativa  han  ido  evolucionan- 
do  desde  propuestas  vinculadas  a planteamientos  positivistas,  pasando  por  el  estable- 
cimiento  de  criterios  propios  hasta  su  reconceptualizacion  desde  el  pensamiento  pos- 
estructural.  El  objetivo  de  este  trabajo  es  presentar  una  panoramica  general  de  las 
diversas  posturas  y subrayar  los  aspectos  mas  relevantes  que  en  la  actualidad  emer- 
gen en  relacion  a la  validez  de  los  trabajos  desarrollados  desde  una  perspectiva  cuali- 
tativa. Como  veremos,  la  complejidad  de  la  validacion  de  los  estudios  cualitativos 
requiere  superar  la  idolatria  del  metodo  pues  cuestiones  ideologicas,  politicas  (Orden 
y Mafokozi,  1999)  y morales  impregnan  su  desarrollo.  No  es  posible  separar  los 
«objetos»  de  la  investigacion  de  la  estructura  (contenido,  forma  y desarrollo)  de  la 
misma:  la  relacionalidad  del  proceso  y cuestiones  eticas  impregnan  el  quehacer  de  los 
investigadores  educativos.  El  concepto  de  solidaridad,  el  conocimiento  entendido  en 
terminos  practicos  y morales,  frente  al  de  objetividad,  regula  la  actividad  investigado- 
ra  (Rorty,  1996;  Smith,  1992). 

2.  LA  LEGITIMIDAD  DE  LA  INVESTIGACION  CUALITATIVA 

Aunque  la  investigacion  cualitativa  posee  una  dilatada  historia  en  el  seno  de  las 
disciplinas  sociales,  en  las  dos  ultimas  decadas  ha  tenido  que  luchar,  no  tanto,  por 
abrir  espacios  de  indagacion  y reflexion  que  admitieran  otras  formas  de  acercamiento 
a la  realidad,  cuanto  por  el  reconocimiento  de  su  legitimidad.  En  la  actualidad  los 
discursos  explicitos  sobre  cuestiones  epistemologicas  y metodologicas  relacionadas 
con  la  investigacion  estan  alejados  de  la  defensa  de  la  primacia  positivista  y parecen 
discurrir  por  vias  de  reconocimiento,  reconciliation  e integration  de  metodos  (Bericat, 
1998;  Dendaluce,  1995,  1998).  Sin  embargo,  la  cuestion  aiin  no  resuelta  de  como  valo- 
rar  la  credibilidad  de  los  estudios  desarrollados  en  un  marco  interpretative  oscurece 
sus  aportaciones.  Howe  y Eisenhart  (1993:  174)  describen  acertadamente  esta  situa- 
tion: «inicialmente,  el  debate  sobre  la  legitimidad  de  la  investigacion  cualitativa  en 
education  se  establecio  en  terminos  de  una  election  decidida,  aunque  vagamente 
descrita,  entre  una  metodologia  bien  pertrechada  y un  recien  llegado  sumamente 
sospechoso». 

Desde  que  irrumpio  en  el  campo  de  la  investigacion,  el  «recien  llegado»  ha  desa- 
rrollado  una  identidad  propia.  Al  tiempo  que  maduraba  y reflexionaba  sobre  cuestio- 
nes ontologicas,  epistemologicas  y metodologicas  ha  ido  adaptando,  generando  y 
revisando  diversas  propuestas  sobre  los  criterios  mas  adecuados  para  valorar  sus 
aportaciones  (Angulo,  1990;  Cajide,  1992).  Los  criterios  de  validez  de  la  investigacion 
social,  y en  particular  de  la  investigacion  cualitativa,  han  estado  y siguen  estando  en 
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constante  revision:  «al  intentar  reconstruir  una  realidad,  desen tranar  sus  redes  de 
significado  y,  en  definitiva,  comprenderla  en  toda  su  profundidad,  nos  hacen  falta 
indicadores  de  credibilidad:  «^Es  esa  la  realidad?  ^Esta  quizas  deformada  por  los 
instrumentos  que  se  han  empleado,  por  la  prisa  con  que  se  ha  trabajado,  por  la 
subjetividad  de  los  informantes,  por  la  arbitrariedad  de  la  informacion...»  (Santos, 
1990:  162). 

En  realidad  los  investigadores  del  ambito  educativo  debemos  aceptar  convivir  con 
una  «lesser  form  of  knowledge»  (Labaree,  1998)  que  supone  determinados  beneficios 
y tambien  limitaciones  y que  nos  lleva  a reconstruir  constantemente  las  bases  de  la 
disciplina  al  tiempo  que  reinterpretar  las  cuestiones  mas  fundamentales  de  nuestro 
campo.  Parti cularmente,  la  investigacion  cualitativa  en  el  posmodernismo  afronta  una 
doble  crisis  de  representation  y legitimation  (Denzin,  1994).  La  primera  hace  referen- 
da a la  imposibilidad  de  aprehender  directamente  la  realidad,  fista  se  construye, 
primero,  a traves  de  la  aplicacion  de  nuestros  propios  esquemas  sobre  ella  y,  despues, 
se  re-construye  en  los  textos  producidos.  En  el  pos-estructuralismo,  el  texto,  el  lengua- 
je,  la  narration,  cobra  un  papel  fundamental  (Richardson,  1994).  La  crisis  de  legitima- 
cion supone  una  mirada  critica  hacia  la  utilidad  de  los  tradicionales  criterios  de  rigor 
cientffico  en  el  contexto  de  la  investigacion  cualitativa. 

Ciertamente,  la  palabra  clave  en  todo  este  entramado  es  la  de  interpretation.  Los 
investigadores  cualitativos  abordan,  fundamentalmente,  cuestiones  relacionadas  con 
acciones  y no  con  actos.  Justamente,  ese  es  el  reto  que  constituye  nuestro  trabajo,  de 
hecho,  el  foco  de  la  investigacion  social  y educativa,  la  interpretation  del  significado 
de  acciones  humanas  y sociales.  Pero,  ^donde  reside  el  «significado»?  La  pregunta  nos 
dirigiria  a los  diversos  enfoques  hermeneuticos  (hermeneutica  de  validation  u objeti- 
va,  critica  y filosofica)  pues  «cada  position  tiene  implicaciones  para  la  comprension  de 
lo  que  los  investigadores  cualitativos  hacen  cuando  investigan  y para  el  «status»  de  las 
interpretaciones  ofrecidas  como  resultado  de  sus  estudios»  (Smith,  1993:  190). 

3.  LOS  «SIGNIFBCADOS»  DEL  CONCEPT©  DE  VALBDEZ 

Cuando  hablamos  de  la  calidad  de  un  estudio  solemos  referirnos  a su  rigor  cientf- 
fico,  fiabilidad,  veracidad,  confiabilidad,  plausibilidad,  adecuacion  metodologica,  cre- 
dibilidad, congruencia,  etc.  Pero,  quiza,  el  termino  mas  utilizado  sea  el  de  «validez». 
Una  investigacion  no  valida,  no  es  verdadera.  Una  investigacion  no  valida,  no  es  una 
buena  investigacion,  no  tiene  credibilidad.  Si  los  estudios  no  pueden  ofrecer  resulta- 
dos  validos,  entonces,  las  decisiones  politicas,  educativas,  curriculares,  etc.  no  pueden 
basarse  en  ellos.  La  validez  ha  constituido  siempre  una  preocupacion  en  la  investiga- 
cion educativa;  las  cuestiones  sobre  la  validez  han  emergido  historicamente  en  el 
contexto  de  la  investigacion  experimental  y ahf  por  tanto  surgieron  las  primeras 
respuestas.  Es  un  termino  que  aunque  reelaborado  desde  diversas  perspectivas  se  ha 
mantenido  como  elemento  fundamental  para  la  valoracion  de  la  calidad  o rigor  cien- 
tffico de  los  estudios  en  las  ciencias  sociales  a pesar  de  que  algunos  autores  cuestionan 
su  protagonismo  en  los  estudios  cualitativos  (Wolcott,  1990).  La  validez,  como  sinoni- 
mo  de  verdad,  como  verdad  construida,  como  verdad  interpretada,  consensuada. 
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signifique  lo  que  signifique,  se  convierte  en  la  lmea  divisoria,  el  criterio  limite  que 
establece  la  legitimidad,  aceptacion  o confiabilidad  de  los  trabajos  de  investigation 
(Scheurich,  1996).  En  el  amplio  ambito  de  la  investigation  cualitativa  el  significado 
traditional  del  concepto  de  validez  ha  sido  reformulado,  fundamentalmente,  en  termi- 
nos  de  construction  social  del  conocimiento  otorgando  un  nuevo  enfasis  a la  interpreta- 
tion. 

Mishler  (1990:  419)  senala  que  en  la  investigation  «inquiry-guided»  el  concepto  de 
validation  es  mas  relevante  que  el  de  validez:  «la  validation  es  el  proceso(s)  a traves 
del  cual  realizamos  afirmaciones  y evaluamos  la  credibilidad  de  observaciones,  inter- 
pretaciones  y generalizaciones.  El  criterio  esencial  para  dichas  valoraciones  es  el  grado 
en  que  podemos  basarnos  en  los  conceptos,  metodos  e inferencias  de  un  estudio  como 
base  para  nuestra  propia  teorizacion  e investigation  empirica».  Con  esta  reformula- 
tion la  cuestion  esencial  de  validez  se  convierte  en  si  la  comunidad  cientifica  evalua 
los  resultados  como  suficientemente  confiables  para  basar  en  ellos  su  trabajo  aspecto 
que  tambien  reconoce  Cutcliffe  (1999).  En  la  propuesta  de  Mishler  no  se  acepta  el 
establecimiento  de  un  grupo  de  criterios  estdndar  para  valorar  la  investigation,  por  el 
contrario,  se  sugiere  la  configuration  de  una  coleccion  de  ejemplos  relevantes  que 
muestren  como  deben  realizarse  los  estudios. 

Segun  Maxwell  (1992)  la  postura  de  Mishler  es  representativa  de  los  enfoques 
de  validez  basados  en  ejemplos  (modelo  sintagmatico  de  validez)  frente  a aquellos 
basados  en  tipologfas  (modelo  paradigmatico  de  validez).  Maxwell  es  partidario 
de  la  complementariedad  de  ambas  perspectivas  y senala  que  la  comprension  es  un 
concepto  mucho  mas  importante  que  el  de  validez.  Asi,  nos  presenta  cinco  tipos  de 
validez  relacionadas  con  las  formas  de  comprension  inherentes  a la  investigation 
cualitativa:  la  validez  descriptiva  hace  referencia  a la  precision  o exactitud  con  que 
los  hechos  son  recogidos  en  los  textos  o informes  sin  ser  distorsionados  por  el 
propio  investigador.  Ademas  de  proporcionar  una  description  valida  de  objetos, 
acontecimientos  y conductas,  el  investigador  trata  de  comprender,  validez  interpre- 
tativa,  que  significado  tienen  para  las  personas  esos  objetos,  acontecimientos  y 
conductas.  La  validez  tedrica  se  relaciona  con  las  construcciones  teoricas  que  el 
investigador  aporta  o desarrolla  durante  el  estudio;  nos  situamos  en  la  explica- 
cidn,  mas  alia  de  la  description  y la  interpretation,  en  la  validez  de  un  informe 
como  teona  de  un  fenomeno.  Tambien  nos  remite  a cuestiones  relacionadas  con  la 
generalization,  particularmente,  hace  referencia  a la  posibilidad  de  generalization 
interna  dentro  de  una  comunidad,  grupo  o institution  hacia  personas,  aconteci- 
mientos y lugares  que  no  han  sido  directamente  observados  o entrevistados.  Por 
otra  parte,  la  generalization  externa  se  relaciona  con  la  transferencia  de  los  resulta- 
dos a otras  comunidades,  grupos  o instituciones.  Finalmente,  la  validez  evaluativa 
conlleva  reconocer  y considerar  los  marcos  evaluativos  a traves  de  los  cuales  se 
atribuye  un  significado  a los  hechos  observados. 

Un  aspecto  importante  de  las  ideas  de  Maxwell  es  que  la  validez  se  relaciona 
fundamentalmente  con  los  textos  y no  con  los  datos  o los  metodos.  La  validez  es 
relativa  a propositos  y circunstancias.  De  hecho  tal  y como  se  vera  a lo  largo  de  esta 
exposition,  en  el  marco  del  pensamiento  pos-estructuralista,  el  protagonismo  que 
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adquieren  los  relatos  de  investigacion  cualitativa  traslada  el  enfasis  del  establecimien- 
to  de  un  isomorfismo  con  la  realidad  estudiada  hacia  el  nivel  de  suficiencia  de  eviden- 
cia  que  aportan  los  textos  en  relacion  a las  afirmaciones  que  en  ellos  se  realizan.  La 
narration  en  si  misma  es  objeto  de  valoracion  y asi  aparecen  voces  sobre,  por  ejemplo, 
la  calidad  de  la  transcription  de  datos  como  un  aspecto  del  rigor  en  la  investigacion 
cualitativa  (Poland,  1995),  cuales  son  los  procedimientos  mas  adecuados  para  evaluar  e 
interpretar  documentos  y textos  (Manning  y Cullum-Swan,  1994),  la  consideration  de 
su  elaboracion  como  un  metodo  de  investigation  en  si  mismo  (Richardson,  1994)  y 
discusiones  acerca  de  formas  de  representation  y comunicacion  alternativas  en  la  investi- 
gacion (Eisner,  1997;  Sandelowski,  1998). 

Impregnados  por  los  postulados  pos-estructuralistas  actuales  Altheide  y Johnson 
(1994:  485)  presentan  asi  la  cuestion  acerca  de  la  validez:  «^Como  deberran  las  meto- 
dologias  interpretativas  ser  juzgadas  por  aquellos  que  comparten  la  idea  de  que  la 
perspectiva  sobre  como  el  conocimiento  es  adquirido,  organizado  e interpretado  esta 
relacionado  con  que  afirmaciones  se  realizan?»  Tras  analizar  diversas  posturas  actua- 
les acerca  de  la  validez  y cuestiones  afines  los  autores  sostienen  que  los  principals 
significados  otorgados  al  termino  son  los  siguientes:  validez  como  cultura : se  reconoce 
que  el  investigador  refleja,  impone,  reproduce,  escribe  y lee  desde  su  propio  bagaje 
cultural;  validez  como  ideologia:  similar  al  anterior,  incide  fundamentalmente  en  aspec- 
tos  culturales  especificos  relacionados  con  el  poder  social,  la  legitimacion  y cuestiones 
relacionadas  con  la  estructura  social;  validez  como  genero:  remite  a las  asunciones  sub- 
yacentes  al  proceso  de  recogida  de  datos  y de  elaboracion  conceptual  relacionadas  con 
cuestiones  acerca  del  poder  y la  domination  en  la  interaction  social;  validez  como 
lenguaje/texto:  reconoce  como  categories  culturales  y vision  del  mundo  particulares 
que  estan  presentes  en  el  lenguaje  y los  discursos  conducen,  limitan,  una  determinada 
construction  de  la  realidad;  validez  como  aplicabilidad/ayuda:  subraya  la  utilidad  y «em- 
powerment»  de  la  investigacion  para  beneficiar  grupos  desfavorecidos;  validez  como 
estandares:  las  afirmaciones  sobre  la  verdad  son  multiples  y,  por  tanto,  debemos  evadir 
formas  autoritarias  de  legitimacion.  En  resumen,  estos  autores  sostienen  que  es  posi- 
ble  elaborar  informes  claros  y coherentes  que  pueden  estar  abiertos  a la  ambigiiedad  y 
la  incertidumbre.  Reconociendo  que  no  se  debe  privilegiar  un  formato  cultural  de 
comunicacion  anticipan  que  proximos  debates  apareceran  acerca  de  la  utilidad  del 
analisis  del  discurso,  la  semiotica,  la  deconstruction  y otros  metodos  para  analizar 
sfmbolos  culturales  e indicadores  de  la  vida  social. 

Wolcott  (1990)  desde  una  postura  mas  radical  y en  el  marco  de  la  investigacion 
etnografica  rechaza  el  concepto  de  validez.  Preguntamos  acerca  de  la  validez  de  un 
estudio  es  hacer  una  pregunta  equivocada.  Es  un  termino  absurdo,  dice,  puesto  que 
no  existe  una  correcta  y unica  interpretation  de  la  realidad  y prefiere  hablar  simple- 
mente  de  comprension:  «el  poder  de  hacer  inteligible  la  experiencia  aplicando  concep- 
tos  y categorias»  (p.  146).  Aunque  no  descarta  la  necesidad  del  establecimiento  de 
procedimientos  rigurosos  en  el  desarrollo  de  los  estudios  (de  hecho  presenta  una  serie 
de  estrategias  procedimentales  a considerar)  sugiere  que  una  preocupacion  excesiva 
por  cuestiones  de  validez  es  mas  una  distraction  que  una  ayuda  y que,  en  cualquier 
caso,  «cuan  valido  es  ^suficientemente  valido?»  (p.  149). 
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Algunos  autores  (Cherry holmes,  1988)  abordan  el  significado  que  se  otorga  a la 
validez  de  constructo,  aquella  que  sustenta  el  topico  a investigar,  desde  diversas  pers- 
pectivas  (fenomenologia,  teoria  crftica,  investigacion  etnografica,  analisis  pos-estruc- 
turalistas)  y sostienen  que  este  tipo  de  validez  de  caracter  discursivo  es  central  en  la 
investigacion  pues  las  actividades  de  los  investigadores  tienen  lugar  en  el  contexto  de 
una  ideologia  e intereses  determinados.  Asi,  por  ejemplo,  en  la  perspectiva  pos-estruc- 
turalista  se  suplanta  el  termino  validez  por  el  de  autoridad  y las  formas  de  legitima- 
cion  adoptan  una  vision  politica  (Denzin,  1994):  «el  pensamiento  pos-estructural  se 
asienta  sobre  la  conviccion  de  que  se  debe  separar  cualquier  texto  de  sus  pretensiones 
externas  hacia  la  autoridad.  Cada  texto  debe  ser  aceptado  en  sus  propios  terminos.  Se 
renuncia  al  deseo  de  producir  un  texto  valido  y autorizado.  Si  la  validez  desaparece, 
entonces  los  valores  y la  politica,  no  una  epistemologia  objetiva,  gobiernan  la  ciencia» 
(p.  298). 

Scheurich  (1996)  en  un  interesante  articulo  en  el  que  realiza  una  deconstruccion  de 
los  procesos  a traves  de  los  cuales  se  han  ido  construyendo  los  diversos  discursos 
sobre  la  validez  (pos-positivismo,  feminismo...)  sostiene  la  hipotesis  de  que  las  «nu- 
merosas  y aparentes  construcciones  distintas  de  la  validez  son  simplemente  mascaras 
que  esconden  una  similitud  subyacente,  un  proposito  o funcion  que  transciende  las 
supuestas  diferencias  inconmensurables  o limites  que  separan  las  distintas  epistemo- 
logias  de  investigacion»  (p.  49).  El  objetivo  fundamental  de  su  trabajo  es  mostrar  esta 
similitud  que  en  esencia  remite  a la  funcion  de  poder  de  la  validez,  a una  practica 
politica  que  construye  una  linea  divisoria  ideologica,  un  criterio  limite  que  establece  la 
legitimidad  o aceptacion  de  lo  verdadero.  Y su  propuesta  nos  remite  a un  desafio  que 
consiste  en  identificar  formas  de  validez  que  no  construyan  al  «otro»  a traves  de 
esquemas  propios. 

4.  CRITERIOS  DE  VALIDEZ  EN  LA  INVESTIGACION  CUALITATIVA 

Fundamentalmente,  podriamos  senalar  cuatro  posiciones  ante  el  establecimiento  y 
uso  de  criterios  para  evaluar  la  investigacion  cualitativa: 

a)  Aplicacion  de  criterios  convencionales 

b)  Aplicacion  de  criterios  paralelos  o cuasi-fundacionales 

c)  Aplicacion  de  criterios  propios 

d)  Nuevos  criterios  para  un  mundo  pos-moderno 

a)  Aplicacion  de  criterios  convencionales 

Los  criterios  tradicionales  para  valorar  la  adecuacion  y calidad  de  la  investigacion 
son  los  ya  conocidos  de  validez  interna,  validez  externa,  fiabilidad  y objetividad. 
Algunos  autores  sostienen  que  los  estudios  cualitativos  deben  ser  juzgados  usando  los 
mismos  criterios  que  aquellos  utilizados  en  la  investigacion  convencional.  Uno  de  los 
primeros  intentos  de  importar  y aplicar  la  terminologia  positivista  al  ambito  de  la 
investigacion  cualitativa  lo  encontramos  en  Kirk  y Miller  (1986)  en  su  obra  Reliability 
and  validity  in  qualitative  research.  A esta  tematica  estuvo  dedicado  el  primer  volumen 
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de  la  serie  sobre  «Metodos  de  investigacion  cualitativa»  publicado  por  la  prestigiosa 
editorial  Sage  lo  que  pone  de  manifiesto  la  preocupacion  y deseo  de  la  comunidad  de 
investigadores  cualitativos  por  defender  y asegurar  la  legitimidad  de  sus  aportacio- 
nes.  Otro  ejemplo  ampliamente  difundido  en  la  literatura  lo  constituye  el  trabajo  de 
Goetz  y LeCompte  (1988)  quienes  desarrollan  los  criterios  antes  mencionados  ajustan- 
dolos  al  metodo  etnografico.  Sin  embargo,  cabe  senalar  que  estas  autoras  en  los  ulti- 
mos  anos,  aunque  continuan  utilizando  la  misma  terminologia  que  en  la  obra  senala- 
da,  se  han  ido  alejando  de  una  vision  excesivamente  apegada  a los  patrones  positivis- 
tas  reconociendo,  entre  otros  aspectos,  el  papel  fundamental  de  las  distintas  audien- 
cias  en  el  proceso  de  desarrollo  y evaluacion  de  las  investigaciones  (LeCompte  y 
Preissle,  1993). 

Desde  esta  postura  podria  defenderse  que  debe  dirigirse  la  atencion  hacia  las 
particularidades  especificas  de  las  distintas  metodologfas  de  investigacion  mas  que 
hacia  cuestiones  de  tipo  epistemologico  pudiendose  elaborar  unos  criterios  generales 
de  valoracion  para  las  investigaciones  en  las  ciencias  sociales  (Howe  y Eisenhart,  1993; 
Swanborn,  1996).  Otros  autores,  por  el  contrario,  sostienen  que  no  es  que  constituya 
una  postura  erronea  utilizar  los  criterios  tradicionales  de  rigor  cientifico  para  valorar 
la  investigacion  de  tipo  cualitativo  sino  que  incluso  en  el  marco  de  la  investigacion 
cuantitativa  son  inadecuados  (Hammersley,  1992). 

b)  Aplicacion  de  criterios  paralelos  o cuasi-fundacionales 

Se  defiende  que  los  estudios  deben  ser  valorados  a partir  de  criterios  generados 
por  y desde  dentro  del  propio  paradigma  cualitativo  pues  no  es  legitimo  articularlos 
contra  un  telon  de  fondo  epistemologico  positivista.  Se  pretende  pues  a la  luz  de  la 
tesis  kuhniana  sobre  la  inconmensurabilidad  paradigmatica  generar  normas  propias 
que  se  adecuen  a los  postulados  esenciales  que  regulan  el  enfoque  cualitativo  de 
investigacion.  liste  sostiene  concepciones  alternativas  acerca  de  que  es  la  realidad, 
como  se  puede  conocer,  cual  es  el  objetivo  de  la  investigacion  social,  por  que  y para 
que  investigar  y,  por  tanto,  deben  elaborarse  estandares  de  calidad  propios.  Este 
argumento  va  tomando  cuerpo  y fuerza  a partir  de  que  «el  intruso»  que  senalaban 
Eisenhart  y Howe  se  instala  con  firmeza  en  el  ambito  de  la  investigacion  social  desa- 
rrollando  progresivamente  su  identidad:  se  asume  una  ontologia  relativista,  existen 
multiples  realidades,  una  epistemologfa  subjetivista,  comprension  vs.  explicacion,  y 
un  conjunto  de  procedimientos  metodologicos  naturalistas. 

El  trabajo  mas  representative  de  esta  postura,  ya  conocido,  es  la  obra  de  Guba  y 
Lincoln  (Guba,  1989;  Lincoln  y Guba,  1985)  en  la  que  los  autores  proponen  cuatro 
terminos  alternativos  para  valorar  los  procesos  de  investigacion  desarrollados  en  el 
marco  de  lo  que  ellos  denominan  investigacion  naturalista.  Para  referirse  de  forma 
general  a la  calidad  de  la  investigacion  utilizan  el  termino  «trustworthiness»;  la  cues- 
tion  clave  es  la  reconstruccion  de  las  perspectivas  de  las  personas  estudiadas  y la 
demostracion  de  que  la  interpretacion  del  investigador  es  crefble  para  aquellas.  Du- 
rante mucho  tiempo  el  trabajo  de  Guba  y Lincoln  ha  constituido  el  referente  esencial 
para  valorar  los  estudios  interpretativos.  Basandose  fundamentalmente  en  su  aporta- 
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cion,  otros  autores  como  Miles  y Huberman  (1994)  han  desarrollado  propuestas  simi- 
lares  al  presentar  un  patron  alternative  a los  criterios  de  rigor  convencionales. 

TCRMINOS  CONVENCIONALES  Y ALTERNAT1VOS  DE  CRITERIOS  DE  CALIDAD 

EN  LA  INVESTIGACION  CUALITATIVA 


Aspecto 

Termino  convencional 

Guba  y Lincoln  (1985) 
Guba  (1989) 

Miles  y Huberman  (1994) 

Valor  de  verdad 

Validez  interna 

Credibilidad 

Autenticidad 

Aplicabilidad 

Validez  externa  / Generalization 

Transferibilidad 

«Fittingness» 

Consistency 

Fiabilidad 

Dependencia 

« Auditability» 

Neutral  idad 

Objetividad 

Confirmabilidad 

Confirmabilidad 

Sin  embargo,  estas  posturas  han  sido  cuestionadas  pues  se  argumenta  que  simple* 
mente  se  han  trasladado  o transportado  las  preocupaciones,  regulaciones  o afirmacio- 
nes  de  verdad  de  la  ciencia  positivista  al  ambito  de  la  investigacion  naturalista.  Asi, 
los  esquemas  propuestos  se  mantienen  conceptualmente  muy  cercanos  a los  criterios 
convencionales  al  tiempo  que  se  intenta  ajustar  o substituir  la  ontologia  y epistemolo- 
gia  positivistas  por  la  constructivista.  Scheurich  (1996)  alude  a esta  situacion  recono- 
ciendo  en  la  diaspora  pos-positivista  a un  emigrante  que  ha  llevado  consigo  la  cultura 
de  su  lugar  de  nacimiento,  el  enfoque  convencional,  teniendo  como  resultado  una 
mezcla  de  viejas  y nuevas  metaforas. 

c)  Aplicacion  de  criterios  propios 

Como  hemos  visto,  el  establecimiento  de  terminos  paralelos  no  ha  logrado  alcanzar 
el  objetivo  de  articular  los  supuestos  del  enfoque  cualitativo  de  investigacion  y los 
criterios  de  validacion  propios.  De  hecho,  Guba  y Lincoln,  en  posteriores  trabajos,  han 
reconocido  que  los  criterios  por  ellos  propuestos  son  al  fin  y al  cabo  paralelos  a los 
convencionales  pues  tienen  sus  origenes  y raices  en  asunciones  positivistas.  Y,  propo- 
nen  cinco  nuevos  criterios  para  la  valoracion  de  lo  que  ellos  denominan  la  «Fourth 
Generation  Evaluation*,  los  criterios  de  autenticidad,  que  emanan  directamente  de  los 
supuestos  constructivistas  y que,  segun  los  autores,  podrfan  haber  sido  sugeridos  por 
una  persona  que  nunca  hubiera  oido  hablar  del  positivismo  o de  sus  afirmaciones  de 
rigor  (Guba  y Lincoln,  1990;  Lincoln,  1995).  Los  criterios  de  autenticidad  propuestos 
son:  equidad  o justicia  ( «fairness»),  presentation  de  los  puntos  de  vista  sostenidos  por  las 
diversas  personas;  la  autenticidad  ontoldgica  se  refiere  al  grado  en  que  las  construccio- 
nes  emicas,  la  conciencia  acerca  de  determinadas  cuestiones  de  las  personas  son 
mejoradas,  maduradas,  y reelaboradas  en  la  evaluation;  la  autenticidad  educativa  supo- 
ne  ir  mas  alia  de  las  propias  elaboraciones  y contrastarlas  con  otras  diferentes  para 
conocer  como  sistemas  de  valores  alternatives  evocan  soluciones  diversas;  la  autentici- 
dad catalitica  se  define  como  el  grado  en  que  una  action  es  estimulada  y facilitada  por 
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los  procesos  de  evaluation  y,  por  ultimo,  la  autenticidad  tdctica  sugiere  el  «empower- 
ment»  de  los  participantes  hacia  la  action. 

En  el  ambito  esperifico  de  la  investigation  etnografica  Hammersley  (1992)  describe 
las  propuestas  de  varios  autores  y sintetiza  sus  aportaciones  en  los  siguientes  criterios 
(P-  64): 

a)  El  grado  en  el  que  se  produce  teoria  formal  / generica 

b)  El  grado  de  desarrollo  de  la  teoria 

c)  La  novedad  de  las  afirmaciones 

d)  La  consistencia  entre  afirmaciones  y observaciones  empiricas  e inclusion  de 
ejemplos  representatives  de  estas  en  el  informe 

e)  La  credibilidad  del  informe  para  los  lectores  y/o  para  las  personas  investigadas 

f)  El  grado  en  que  los  resultados  son  transferibles  a otros  contextos 

g)  La  reflexividad  del  informe:  el  grado  en  el  que  se  valoran  los  efectos  del  inves- 
tigador  y de  las  estrategias  de  recogida  de  information  sobre  los  resultados  y / 
o la  cantidad  de  information  sobre  el  proceso  de  investigation  que  se  propor- 
ciona  a los  lectores. 

Para  Hammersley  uno  de  los  errores  mas  comunes  en  cuanto  al  establecimiento  de 
estandares  para  valorar  los  resultados  de  la  investigation  social  es  que  no  se  realiza 
una  clara  distincion  entre  criterios  y los  medios  o evidencias  a traves  de  los  cuales  se 
juzga  si  aquellos  han  sido  logrados.  Segun  el  autor  los  criterios  que  deben  gobernar  en 
las  ciencias  sociales  son  la  validez  o verdad  y la  relevancia.  Hammersley  alude  a la 
verdad,  termino  que  segun  el  autor  parece  haberse  convertido  en  una  palabra  tabu 
para  muchos  cientificos  sociales,  asumiendo  una  teoria  de  correspondencia  de  la 
verdad  que  supone  una  representation  selectiva  mas  que  una  reproduction  de  la 
realidad.  Reconoce  que  no  es  posible  conocer  con  certeza  el  grado  en  que  un  relato  es 
verdadero,  por  lo  tanto,  debemos  juzgar  la  validez  de  las  afirmaciones  a partir  de  la 
adecuacion  de  la  evidencia  presentada  para  apoyarlas.  Para  decidir  acerca  de  la  sufi- 
ciencia  de  evidencia  debemos  considerar  tres  aspectos:  si  la  exposition  es  suficientemen- 
te  plausible  dado  el  cuerpo  existente  de  conocimientos;  si  la  afirmacion  es  central  al 
. argumento  presentado  por  el  investigador  reclamara  mas  evidencia  que  si  es  margi- 
nal; el  nivel  de  suficiencia  dependera  del  tipo  de  afirmacion  realizada:  definition,  des- 
cription, explication,  teoria.  Por  otra  parte,  cabe  preguntarnos  por  la  relevancia  de  una 
investigation  en  terminos  de  su  relation  con  algun  topico  de  interes  considerando, 
ademas,  las  audiencias. 

d)  Nuevos  criterios  para  un  mundo  pos-moderno 

En  el  enfoque  pos-modemo  se  promulga  que  el  caracter  de  la  investigation  cualita- 
tiva implica  que  no  pueden  existir  criterios  especificos  para  juzgar  sus  productos. 
Dado  un  mundo  de  multiples  realidades  construidas,  ^como  es  posible  discemir  entre 
una  version  verdadera  y otra  que  no  lo  es?  En  un  interesante  articulo,  Smith  (1984) 
desgrana  los  argumentos  de  Guba  acerca  de  la  idiosincrasia  del  paradigma  naturalista 
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y va  descubriendo  las  inconsistencias  que  atraviesan  su  discurso  debido  a la  aplica- 
cion de  criterios  fundacionales  a supuestos  antifundacionales.  Hammersley  (1992) 
acepta  en  parte  la  postura  de  Smith,  especificamente  que  no  es  razonable  elaborar 
unos  criterios  fijos  y verdaderos  cuya  aplicacion  algoritmica  nos  diga  que  es  y que  no 
es  verdadero  con  absoluta  precision,  pero  sugiere  que  la  extension  de  sus  argumentos 
nos  llevaria  a un  cierto  relativismo.  Para  Hammersley  «cualquier  criterio  debe  ser 
heuristico,  su  aplicacion  debe  basarse  en  asunciones  tacitas  y siempre  cuestionables  y 
dicha  aplicacion  por  consiguiente  debe  estar  sujeta  a una  posible  discusion»  (p.  60). 

Desde  el  pensamiento  pos-estructuralista  se  defiende  que  deben  elaborarse  un 
nuevo  grupo  de  criterios  divorciados  de  las  tradiciones  positivista  y pos-positivista. 
Esta  reivindicacion  surge,  sobre  todo,  desde  «voces»  hasta  ahora  olvidadas  o silencia- 
das  que  configuran  nuevas  epistemologias  y ofrecen  su  vision  particular  acerca  de  las 
cuestiones  relacionadas  con  la  representacion  y legitimidad  de  la  investigacion  cuali- 
tativa  que  hoy,  mas  que  nunca,  muestra  su  gran  polifoma:  feminismo,  estudios  etni- 
cos,  culturales,  marxistas...  Asi,  clase,  raza,  genero  y etnicidad  perfilan  el  proceso  de 
investigacion.  Como  senalan  Denzin  y Lincoln  (1998)  las  nuevas  sensibilidades  pos- 
modernas  incorporan  al  debate  sobre  la  representacion  y legitimidad  de  la  investiga- 
cion cualitativa  cuestiones  claves  para  evaluar  su  trabajo  como  la  verosimilitud,  emo- 
cionalidad,  responsabilidad  personal,  etica  del  cuidado  (Medina,  1999),  practica  politi- 
ca,  dialogos  con  los  participantes. 

En  este  marco,  la  investigacion  cientifica  se  enfrenta  a tres  nuevos  compromisos:  en 
primer  lugar,  a nuevas  y emergentes  relaciones  con  los  participantes;  segundo,  a 
posicionamientos  profesionales,  personales  y politicos  hacia  el  uso  de  la  investigacion 
y su  potencialidad  para  promover  la  accion  y,  finalmente,  a una  vision  de  la  investiga- 
cion que  posibilite  y fomente  la  justicia  social,  la  diversidad  y el  discurso  critico 
(Lincoln,  1995).  En  definitiva,  siguiendo  a esta  autora,  cualquier  debate  sobre  estanda- 
res  significa  un  cambio  radical  sobre  que  es  la  investigacion,  para  que  se  investiga  y 
quien  deberia  tener  acceso  a ella. 

Lincoln  senala  que  un  meta-analisis  de  los  criterios  actuales  mostraria  que  practica- 
mente  todos  ellos  son  claramente  relacionales,  esto  es,  reconocen  y validan  las  relacio- 
nes entre  el  investigador  y las  personas  que  participan  en  la  investigacion.  Y nos 
presenta  lo  que  ella  denomina  criterios  emergentes  de  calidad  acerca  de  los  que  realiza 
algunas  matizaciones:  a)  algunos  criterios  pueden  aplicarse  a tipos  o clases  especificas 
de  investigacion.  Para  algunos  estudios  pueden  poseer  una  utilidad  o aplicabilidad 
limitada;  b)  algunos  criterios  pueden  ser  aplicables  en  determinadas  etapas  de  la 
investigacion  y ser  menos  apropiados  en  otras;  c)  la  mayorfa  de  los  criterios  son 
relacionales.  El  conocimiento  valido  es  una  cuestion  de  relation  entre  el  investigador  y 
aquello  que  se  desea  conocer;  d)  no  existe  un  limite  claro  entre  las  cuestiones  de  rigor 
y eticas.  Los  criterios  emergentes  propuestos  son  (Lincoln,  1995): 

1.  Estandares  para  juzgar  la  calidad  establecidos  en  la  comunidad  investigadora.  A modo 
de  ejemplo,  la  autora  nos  remite  a la  propuesta  de  Elliott  et  al.  publicada  en  su 
version  definitiva  en  1999  y sobre  la  que  hablaremos  mas  adelante.  Aunque 
reconoce  la  aportacion,  es  especialmente  critica  respecto  a las  implicaciones  que 
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puede  suponer  sobre  el  establecimiento  del  «status»  social  del  conocimiento. 
Segun  Lincoln  estos  estandares  se  han  construido  sobre  practicas  de  poder  y 
realizan  una  funcion  legitimadora  de  exclusion. 

2.  Perspectiva  epistemoldgica.  Existe  un  grupo  de  criterios  de  calidad  asociados  con 
cuestiones  epistemologicas  que  suponen  el  reconocimiento  y explicitacion  por 
parte  del  investigador  de  su  postura  frente  a aquellas.  Desde  el  pos-estructuctu- 
ralismo,  se  reconoce  que  no  es  posible  representar  una  unica  verdad;  cualquier 
texto  siempre  es  parcial  e incompleto  y se  elabora  desde  una  perspectiva  social, 
cultural,  historica,  racial  y de  genero  particular.  Los  textos  deben  mostrar  estas 
posturas  de  manera  que  se  reconoce  que  la  imparcialidad  y objetividad  del 
autor  limitan  la  calidad  de  la  investigacion. 

3.  La  comunidad  como  arbitro  de  calidad.  Aparecen  un  grupo  de  criterios  que  ponen 
de  manifiesto  la  naturaleza  comunitaria  de  la  investigacion.  Si  los  estudios 
tienen  lugar  en  y estan  dirigidos  a una  comunidad,  se  reivindica  que  la  investi- 
gacion deberia  repercutir  en  la  misma,  y no  solo  servir  a propositos  politicos  y 
de  produccion  de  conocimiento,  a traves  del  establecimiento  de  un  dialogo 
basado  en  el  razonamiento  moral  y consideraciones  sobre  la  practica. 

4.  Voz.  La  voz,  quien  habla,  a quien,  desde  que  propositos  construye  una  determi- 
nada  realidad.  Multiples  y alternativas  voces  deben  impregnar  los  textos  en  la 
investigacion  cualitativa.  Voces  hasta  ahora  ignoradas,  reprimidas  o invisibili- 
zadas  en  discursos  pretendidamente  cientificos  y objetivos. 

5.  Subjetividad  critica.  Diversos  terminos  se  utilizan  para  referirse  a este  criterio 
emergente:  subjetividad  critica,  subjetividad  transformadora  y reflexividad  cri- 
tica. En  esencia,  se  refiere  al  reconocimiento  de  que  el  investigador  no  es  una 
figura  aislada  del  contexto,  grupo,  cultura...  que  intenta  comprender  y repre- 
sentar sino  que  forma  parte  de  el. 

6.  Reciprocidad.  Constituye  uno  de  los  estandares  de  calidad  fundamentales  debido 
a la  indisoluble  relacion  entre  investigador  y personas  participantes  en  la  inves- 
tigacion en  los  trabajos  de  caracter  interpretative  que  implica  un  profundo 
sentido  de  confianza,  comprension,  acuerdo,  sensibilidad. 

7.  «Sacredness».  La  experiencia  humana  y el  conocimiento  se  refleja  en  una  profun- 
da preocupacion  por  la  dignidad  humana,  la  justicia  y el  respeto  interpersonal. 
Los  investigadores  que  conciben  la  ciencia  en  este  sentido  se  preocupan  por  las 
consecuencias  sociales  de  la  investigacion  cientffica. 

8.  Compartir  privilegios.  La  autora  describe  dos  investigaciones  en  las  que  los  auto- 
res  comparten  con  las  personas  investigadas  los  «beneficios»  que  aporta  la 
realization  del  estudio;  por  ejemplo,  en  un  caso,  economicos.  Constituye  este  un 
criterio  sobre  el  que  la  comunidad  investigadora  debe  reflexionar.  Aun  aborda- 
das  desde  una  postura  respetuosa,  ^a  quien  «pertenecen»  las  vidas  sobre  las  que 
investigamos?,  se  pregunta  la  autora.  Es  mas,  imaginemos,  continua,  un  mundo 
academico  en  el  que  se  juzgara  nuestro  merito  y promocion  academica  a partir 
de  nuestra  implication  con  las  personas  que  participan  en  la  investigacion  mas 
que  sobre  una  supuesta  distancia  objetiva. 
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5.  ESTANDARES  DE  VALORACION  APLICABLES  A LA  INVESTIGACION 

CUANTITATIVA  Y CUALITATIVA 

Howe  y Eisenhart  (1993)  sostienen  que  la  cuestion  de  los  criterios  para  valorar 
la  investigacion  debe  abordarse  desde  la  «logica  en  uso»  asociada  a diversas  meto- 
dologfas  de  investigacion:  «dada  la  imposibilidad  de  que  existan  criterios  absolu- 
tamente  independientes  de  los  juicios,  los  propositos  y los  valores  humanos  y,  del 
mismo  modo,  dada  la  imposibilidad  de  una  unidad  monolitica  del  metodo  cienti- 
fico  (la  que  surgiria  de  los  suenos  del  positivismo)  los  criterios  deben  anclarse 
dentro  del  proceso  de  investigacion»  (p.  177).  Un  aspecto  crucial  de  la  posicion  de 
los  autores  es  su  articulacion  entre  estandares  de  validez  generates  y especificos  de 
diseno.  Segun  los  autores,  los  estandares  de  validez  cumplen  tres  funciones  princi- 
pales:  a)  permiten  economia  de  pensamiento  a la  hora  de  disenar  y evaluar  estu- 
dios  educativos;  b)  proporcionan  el  punto  de  partida  para  la  reflexion  y mejora  de 
la  investigacion  educativa;  c)  sirven  como  vehiculo  de  comunicacion  dentro  y 
entre  las  tradiciones  de  investigacion  y para  orientar  a las  personas  que  se  inician 
en  ella.  Asi,  proponen  cinco  criterios  generates  para  valorar  la  investigacion  edu- 
cativa, cuantitativa  y cualitativa,  y ejemplifican  a traves  de  la  valoracion  de  un 
estudio  etnografico  como  los  estandares  generates  deben  relacionarse  y analizarse 
a la  luz  de  las  asunciones  subyacentes  y tecnicas  metodologicas  asociadas  con  un 
diseno  especifico. 

Punch  (1998)  presenta  una  propuesta  de  criterios  evaluativos  que  aborda  des- 
de la  asuncion  de  que  existen  similaridades  en  la  logica  de  investigacion  que 
subyace  a los  enfoques  cuantitativos  y cualitativos  sugiriendo  la  combinacion  de 
metodos.  Los  criterios  que  el  autor  propone  se  construyen  sobre  el  concepto  de 
«disciplined  inquiry»  tornado  de  Cronbach  y Suppes  (1969)  y Shulman  (1988),  y 
la  importancia  del  ajuste  entre  las  partes  que  componen  un  proyecto  de  investi- 
gacion subrayando  la  articulacion  entre  la  naturaleza  de  las  cuestiones  que  orien- 
tan  el  estudio  y los  metodos  y enfoque  que  lo  desarrollan.  Aunque  los  criterios  se 
presentan  para  la  valoracion  de  proyectos  de  investigacion  finalizados,  con  pe- 
quenas  modificaciones,  pueden  aplicarse  tanto  a propuestas  como  a informes  de 
investigacion. 

Elliott,  Fischer  y Rennie  (1999)  han  presentado  tambien,  recientemente,  una 
propuesta  de  criterios  para  valorar  la  posible  publicacion  de  estudios  desarrolla- 
dos  desde  un  enfoque  cualitativo  en  psicologia  y ambitos  afines.  Han  elaborado 
una  gufa  aplicable  tanto  a estudios  cuantitativos  y cualitativos,  y un  grupo  de 
criterios  especificos  para  la  investigacion  cualitativa.  Segun  los  autores,  este  traba- 
jo  sirve  a cuatro  funciones:  a)  contribuir  al  proceso  de  legitimacion  de  la  investiga- 
cion cualitativa;  b)  proporcionar  una  forma  de  revision  cientificamente  valida  y 
apropiada  de  los  manuscritos,  artfculos,  tesinas  y tesis  cualitativos;  c)  fomentar  un 
mejor  control  de  la  calidad  de  la  investigacion  cualitativa  a traves  de  una  auto  y 
hetero  supervision  y d)  promover  nuevos  desarrollos  en  enfoque  y metodo.  El 
trabajo  que  nos  presentan  es  el  resultado  de  varios  anos  de  recopilacion,  analisis  y 
meta-evaluacion  de  diversas  propuestas  de  validacion  en  el  ambito  de  la  investiga- 
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cion  cualitativa  a traves  del  consenso  y acuerdo  entre  diversos  autores  relevantes 
en  este  campo2. 

GUfA  PARA  LA  PUBLICACION  DE  ESTUDIOS  CUAL1TAT1VOS  DE  INVESTIGAClON 
EN  PSICOLOGlA  Y CAMPOS  AFINES  (ELLIOTT  ET  AL.,  1999) 


A.  Directrices  de  publicacion  para  enfoques 
cuantitativos  y cualitativos  de  investigacion 

B.  Directrices  de  publicacion  especfficas  a la 
investigacion  cualitativa 

1.  Explicitacion  del  objetivo  y contexto  cientifico 

2.  Metodos  apropiados 

3.  Respeto  hacia  las  personas  participantes 

4.  Especificacion  de  los  metodos 

5.  Discusion  apropiada 

6.  Claridad  de  la  presentacion 

7.  Contribucion  al  conocimiento 

1.  Reconocimiento  de  la  propia  perspectiva 

2.  Descripcion  de  la  muestra 

3.  Construccion  a partir  de  ejemplificaciones 

4.  Proporcionar  pistas  de  credibilidad 

5.  Coherencia 

6.  Desarrollo  de  tareas  generales  vs.  especfficas 
de  investigacion 

7.  Resonancia  en  los  lectores  (representacion 
adecuada,  comprension) 

6.  ESTANDARES  ESPECIFICOS  DE  VALIDACION  EN  LOS  DIVERSOS  ENFO- 
QUES  DE  INVESTIGAClON 

A pesar  de  los  esfuerzos  por  elaborar  criterios  de  calidad  aplicables  a ambas 
metodologias  reconocemos  con  Creswell  (1998)  la  especificidad  de  criterios  de  calidad 
que  demandarian  las  diversas  tradiciones  de  investigacion  dada  la  amplitud  de  proce- 
dimientos  insertos  bajo  el  amplio  paraguas  de  la  investigacion  cualitativa.  De  hecho, 
este  aserto  se  encuentra  tambien  en  trabajos  ya  presentados  como  los  de  Howe  y 
Eisenhart  (1993)  o Goetz  y LeCompte  (1988).  Creswell  nos  presenta  un  analisis  de  las 
propuestas  de  diversos  autores  sobre  la  credibilidad  en  el  contexto  de  cinco  tradicio- 
nes de  investigacion:  estudios  biograficos,  fenomenologia,  teorfa  fundamentada,  etno- 
• grafia  y estudio  de  casos. 


2 A partir  de  un  analisis  cluster  de  40  estandares,  los  autores  formularon  11  principios  para  su  uso  en 
la  valoracion  de  artfculos.  Este  grupo  de  criterios  fueron  presentados  en  el  ario  1993  en  un  seminario  de  la 
Society  for  Psychotherapy  and  Research  para  su  discusion.  El  resultado  del  trabajo  conjunto  realizado  fue 
enviado  a 23  de  las  personas  participantes  quienes,  a su  vez,  realizaron  nuevas  modificaciones  y aportacio- 
nes  que  fueron  introducidas.  La  nueva  propuesta  fue  enviada  a 12  prestigiosos  investigadores  cualiativos 
de  diversas  posiciones  teoricas.  Ademas,  fue  presentada  en  1994  en  un  symposia  del  encuentro  anual  de  la 
American  Psychological  Association.  El  resultado  de  todo  este  proceso  ha  si  do  la  publicacion  en  1999  de  las 
«Evolving  Guidelines  for  Publication  of  Qualitative  Research  Studies  in  Psychology  and  Related  Fields» 
(Elliott  et  ai,  1999). 
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PERSPECTIVAS,  TtRMINOS,  PROCEDIMIENTOS  Y ESTANDARES 
EN  LAS  TRADICIONES  DE  INVESTIGAClON  CUALITATIVA 


Tradition 

Autor(es) 

Perspectiva 

Terminos 

Procedimientos 

Estandares 

Biograffa 

Denzin  (1989b) 

Posmodernismo 

Interpretation 

Description  gruesa 
Reflexibilidad 

No  bien 
detallados 

Fenomenologi'a 

Dukes  (1984) 

Diferentes 

terminos 

Verification 

Reconotimiento 

espontaneo 

Confirmation  por 
otros  investigadores 
Reflexividad 

No  bien 
detallados 

Moustakas 

(1994) 

Diferentes 

terminos 

Verdad 

Validez 

intersubjetiva 

Percepciones 
individuals 
Comprobacion  con 
otros 

No  bien 
detallados 

Teona 

fundamentada 

Strauss  y Corbin 
(1990) 

Terminos 

paralelos 

Verification/ 

validation 

Validez 

suplementaria 

Relacionar  datos  con 
categories 
Contrastar 
resultados  con  la 
literatura 

Ver  Strauss 
y Corbin 
(1990) 

Etnograffa 

Fetterman 

(1989) 

Terminos 

paralelos 

Validez 

etnografica 

Triangulacion  de 
fuentes  de 
information 
Feedback  con  los 
informantes 

Ver  Spindler 
y Spindler 
(1987) 

Hammersley 
y Atkinson 
(1995) 

Terminos 

paralelos 

Triangulacion 

Validation 

respondente 

Triangulacion 
(multiples  formas) 
Confirmation 
parti  cipantes 

Ver  Lofland 
(1974) 

Thomas  (1993) 

Posmodernismo 

Cotiente  de 
verdad 

Reflexividad 

Implications 

sociales 

Estudio  de  casos 

Stake  (1995) 

Terminos 

paralelos 

Validez 

Triangulacion 
(multiples  formas) 
Confirmation 
participates 

Ver  Stake 
(1995) 

Fuente:  (Creswell,  1998:  216). 


Creswell  no  incluye  la  investigacion-accion  en  su  clasificacion  y,  sin  embargo,  «no 
' olvidemos,  la  mejor  manera  de  conocer  la  realidad  es  intentar  transformarla»  (Bartolo- 
me,  1992:  33).  La  investigacion-accion  asume  muchos  de  los  postulados  del  paradigma 
constructivista  pero  va  mas  alia  de  el  reconociendo  la  necesidad  de  la  transformacion 
educativa  a traves  de  una  indagacion  autorreflexiva  de  la  propia  practica.  Waterman 
(1998)  reconoce  la  utilidad  de  las  formas  de  validez  asociadas  con  la  investigacion 
cualitativa  pero  reivindica  otras  mas  relevantes  y pertinentes  a la  naturaleza  de  los 
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procesos  de  investigation-action:  la  validez  dialectica  (en  relation  a tensiones  que  apa- 
recen  al  articular  la  practica,  la  investigation  y la  teoria),  la  validez  critica  (responsabi- 
lidad  moral:  intenciones,  acciones,  implicaciones  eticas  y consecuencias  de  acciones  y 
teorias)  y la  validez  reflexiva  (exploration,  reconocimiento  y explicitacion  de  la  perspec- 
tiva  del  investigador). 

7.  PROCEDIMIENTOS  DE  VERIFICACION  MAS  UTILIZADOS 

Finalmente,  tras  revisar  diversas  aportaciones  sobre  los  criterios  de  validez  en  la 
investigation  cualitativa,  presentamos  una  serie  de  procedimientos  de  verification 
que  parecen  ser  los  mas  extendidos  en  este  ambito.  Al  fin  y al  cabo  las  posiciones, 
ideas  deben  ser  trasladadas  a la  practica:  «los  principals  esfuerzos  del  investigador  se 
dan  en  la  primera  lfnea  de  la  actividad  investigadora  en  medio  de  constantes  decisio- 
nes.  Es  allf  donde  las  filosoffas,  teorias  y metodologias  son  aplicadas,  probadas,  acep- 
tadas,  adaptadas  o rechazadas»  (LeCompte  y Preissle,  1993:  316). 

A partir  de  una  revision  de  los  principales  criterios  de  verificacion,  termino  que 
utiliza  frente  al  de  validez  para  designar  la  especificidad  y legitima  aportacion  de  la 
investigation  cualitativa,  Creswell  (1998)  identifica  los  mas  abordados  en  la  literatura. 
Encontramos  en  Johnson  (1997)  aunque  con  algunas  modificaciones  terminologicas 
respecto  a la  revision  anterior  una  recopilacion  similar.  En  el  cuadro  siguiente  se 
presentan  sus  aportaciones. 

PROCEDIMIENTOS  MAS  UTILIZADOS  EN  LA  OPERATIVIZAClON  DE 
CRITERIOS  DE  RIGOR  EN  LA  INVESTIGAClON  CUALITATIVA 


(Johnson,  1997) 

(Creswell,  1998) 

1.  Investigador  como  «detective» 

1.  Trabajo  prolongado  y observation  persistente 

2.  Trabajo  de  campo  extenso 

2.  Triangulacion 

3.  Utilization  de  descriptores  de  baja  inferencia 

3.  Revision  jueces 

4.  Triangulacion:  de  datos,  de  metodos,  de 

4.  Analisis  de  casos  negativos 

jueces,  teorica 

5.  Clarification  de  los  sesgos  del  investigador 

5.  Validation  desde  los  participantes 

6.  Confirmacion  con  los  participantes 

6.  Revision  jueces 

7.  Descripcion  gruesa 

7.  Busqueda  y analisis  de  casos  negativos 

8.  Auditorfa  externa 

8.  Reflexividad 

9.  Establecimiento  de  patrones 

Vemos  que  los  procedimientos  mas  utilizados  son  los  que  basicamente  introduje- 
ron  Guba  y Lincoln  en  sus  primeros  trabajos,  aunque,  una  lectura  atenta  a las  aporta- 
ciones que  en  la  actualidad  se  realizan  desde  la  investigation,  por  ejemplo,  feminista  y 
desde  una  perspectiva  posestructural,  en  general,  descubre  el  intento  de  generar  e 
introducir  nuevas  vias  de  validation  y construction  del  conocimiento.  Desde  este 
enfoque  uno  de  los  procedimientos  que  con  mas  fuerza  esta  apareciendo  e inundando 
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los  discursos  sobre  la  validation  de  los  estudios  cualitativos  es  la  reflexividad.  Mas  alia 
de  su  traditional  consideration  metodologica,  la  reflexividad  se  convierte  en  una 
cuestion  ideologica  acerca  de  dimensiones  eticas,  politicas,  sociales  y personales  rela- 
cionadas  con  la  investigation  y,  concretamente,  se  refiere  a la  conciencia  y autocritica 
reflexiva  que  el  investigador  realiza  sobre  si  mismo  en  relation  a sus  predisposiciones 
y los  posibles  sesgos  que  pueden  afectar  al  proceso  de  investigation  y los  resultados. 
Marcus  (1994),  por  ejemplo,  aborda  este  tema  en  el  marco  de  la  investigation  etnogra- 
fica  y nos  presenta  cuatro  estilos  de  reflexividad.  Barry  et  al.  (1999)  sugieren  que  la 
reflexividad  no  es  solo  una  actividad  individual  sino  una  estrategia  prioritaria  en  las 
investigaciones  cualitativas  que  se  desarrollan  en  grupo  porque  fomenta  la  calidad  y 
el  rigor  de  los  estudios. 

Por  el  contrario,  el  tan  aclamado  procedimiento  de  triangulacion  se  enfrenta  a voces 
criticas  que  cuestionan  su  relevancia  y posibilidad  de  garantizar  la  credibilidad  de  los 
resultados.  Aunque  tambien  se  pone  en  duda  la  necesidad  de  la  triangulacion  de 
metodos  (Bloor,  1999)  quiza  es  la  validacion  desde  los  participates  la  estrategia  mas 
discutida  (Bloor,  1999;  Cutcliffe  y McKenna,  1999;  Smith,  1984;  Swanborn,  1996).  En 
primer  lugar,  supondria  la  existencia  de  fenomenos  inalterables.  Por  otro  lado,  los 
investigadores  modifican  la  realidad  a validar  al  facilitar  una  explication  de  la  misma 
pues  las  personas  reinterpretan  su  pasado  y su  presente  influidos  por  dicha  informa- 
tion. Asi  mismo,  ^es  posible  que  las  personas  participantes  comprendan  los  construc- 
tos  elaborados  por  los  investigadores?;  ademas,  no  todas  ellas  pueden  ofrecer  su 
opinion:  ninos/as,  personas  discapacitadas,  que  no  conocen  el  idioma,  etc.;  ,-debe  el 
investigador  verificar  sus  conclusiones  con  todas  y cada  una  de  las  personas?,  ,-debe 
intentar  contrastar  todos  los  conceptos,  categorias  o teorfas  o solo  una  parte  de  ellas? 
Y,  en  cualquier  caso,  finalmente,  lo  que  conseguiriamos  es  el  consenso,  no  la  verdad: 
«aqui  la  moraleja  es  simplemente  que  es  importante  llegar  a un  consenso  sobre  la  obra 
de  uno,  pero  una  vez  que  lo  tenemos,  no  se  deberia  pensar  que  hemos  acaparado  la 
verdad.  Lo  que  se  ha  acaparado  es  el  acuerdo»  (Eisner,  1998:  76). 

8.  CONSIDERACIONES  FINALES 

Gomo  se  ha  presentando  a lo  largo  de  este  trabajo,  las  distintas  posturas  relativas  a 
la  elaboration  de  conocimiento  cientffico  se  articulan  alrededor  de  dos  cuestiones 
fundamentales  a las  que  Eisner  (1998)  denomina,  basandose  en  la  distincion  realizada 
por  Newell  (1986),  objetividad  ontoldgica  y objetividad  de  procedimiento.  La  primera  hace 
referenda  a la  voluntad  de  establecer  una  version  verdadera,  podriamos  decir,  objeti- 
va,  de  la  realidad:  «en  el  mejor  de  todos  los  mundos,  buscamos  la  verificabilidad  tanto 
en  la  perception  como  en  el  entendimiento.  Lo  que  deseamos  ver  y saber  no  es  un 
mundo  subjetivo,  hecho  de  creencias  a traves  de  la  fantasia,  la  ideologia  o el  deseo, 
sino  lo  que  esta  realmente  ahi  fuera»  (p.  59).  Por  otro  lado,  los  distintos  autores 
proponen  una  forma  particular  de  objetividad  de  procedimiento,  es  decir,  «el  desarro- 
llo  y utilization  de  un  metodo  que  elimina,  o aspira  a eliminar,  la  incumbencia  del 
juicio  personal  en  la  description  y valoracion  de  un  estado  de  hechos»  (p.  60).  Eisner 
propone  una  alternativa  a la  dicotomia  objetividad  / subjetividad  y sostiene  que  la 
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experiencia  humana  es  una  «transaccion»,  es  el  resultado  de  la  interaction  entre  dos 
entidades  postuladas,  lo  objetivo  y lo  subjetivo:  «ninguna  objetividad  pristina  ni  ningu- 
na  subjetividad  pura  son  posibles  (...)  toda  experiencia  que  se  derive  del  texto  es 
transactiva»  (p.  71). 

En  relacion  a la  generation  de  conocimiento  cientifico,  cabe  destacar  la  importancia 
que  algunos  autores  otorgan  a la  aportacion  de  la  investigacion  cualitativa  al  desarro- 
llo  teorico.  De  hecho,  esta  debe  afrontar  el  reto  y la  responsabilidad  de  contribuir  a la 
ampliation  y desarrollo  del  corpus  de  conocimiento  existente.  Por  ejemplo,  en  trabajos 
como  los  de  Bartolome  y Anguera  (1990),  en  el  marco  de  la  investigacion  cooperativa, 
y Bartolome  et  al.  (1997),  desde  un  enfoque  etnografico,  se  muestra  que  es  posible 
extraer  conocimiento  a nivel  de  interpretation  y meta-analisis.  Desde  esta  perspectiva, 
Morse  (1997)  despues  de  realizar  una  comparacion  de  las  caracteristicas  de  la  teoria 
derivada  de  estudios  cuantitativos,  cualitativos  y practicos  sugiere  que,  mas  alia  de  los 
tradicionales  criterios  metodologicos  de  credibilidad  en  la  investigacion  cualitativa, 
debemos  extender  y ampliar  el  analisis  juzgando  el  nivel  de  teoria  que  se  deriva  de  los 
resultados  de  trabajos  cualitativos.  Siguiendo  este  enfoque,  y sin  despreciar  los  trabajos 
de  investigacion  que  se  desarrollan  en  contextos  especificos,  debemos  atender  a las 
tendencias  internacionales  de  investigacion  (por  ejemplo,  «Fifth  Framework  Programme, 
1998-2002»)  que  apuestan  por  la  realization  de  estudios  comparativos  en  diversos 
paises,  el  establecimiento  de  indicadores  comunes  y el  meta-analisis  teorico. 

Asimismo,  el  enfasis  que  los  diversos  autores  atribuyen  a la  validez  como  action, 
utilidad  o «empowerment»  nos  recuerda  la  estrecha  relacion  entre  investigacion  e 
intervention,  entre  pensamiento  y decision  (Tejedor,  1995).  En  ese  sentido,  recorde- 
mos  la  importancia  de  la  transformacion  como  criterio  de  validez  en  los  procesos  de 
investigation-action  asi  como  de  la  «cristalizacion  del  cambio»  como  indicador  del 
nivel  de  incidencia  e impacto  del  proceso. 

En  resumen,  la  panoramica  presentada  es  una  muestra  de  la  densidad  de  los 
debates  acerca  de  los  criterios  de  valoracion  de  los  estudios  cualitativos  en  el  ambito 
de  las  ciencias  sociales  que  pone  de  manifiesto  la  complejidad  del  campo  y que  nos 
invita  a reflexionar  acerca  de  nuevas  responsabilidades  personales  y profesionales, 
politicas,  eticas  y sociales  relacionadas  con  la  investigacion  educativa. 
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Problema  de  investigacidn 

El  proposito  de  la  investigacidn  fue:  La  elaboration  de  un  sistema  de  indicadores  para  la  evaluacion  de  las 
actividades  de  orientacion  educativa  en  sus  diferentes  formas  de  organizaci6n:  Equipos  Psicopedagogicos  y 
actividades  de  Orientacion.  El  problema  es:  iResponde  el  Sistema  de  Indicadores  al  vacio  metodologico  existente 
en  los  Equipos  y Departamentos  Psicopedagogicos  para  evaluar  su  actividad  orientadora?  Por  tanto,  trata  de 
buscar  una  metodologia  Liable  —Sistema  de  Indicadores—  que  permita  responder  objetiva  y eficazmente  a esta 
cuestion.  Sin  embargo,  antes  de  ofrecer  este  instrument  para  poder  aplicarlo,  fue  necesario  ponerlo  a prueba, 
entendiendo  este  proceso  de  «ensayo»  como  una  parte  inicial  de  un  proceso  de  evaluacion  mas  amplio.  No  se  trata 
tanto  de  juzgar  el  S.I.  como  de  afinar  su  diseno  y estructura,  valorar  su  viabilidad  y determinar  condiciones  de 
aplicacion  y metodologia  de  evaluacion. 

Para  dar  respuesta  a dicho  problema,  se  acotaron  los  objetivos  de  la  investigacion: 

1)  Elaborar  un  sistema  de  indicadores  de  evaluacion  que  permita  conocer  y analizar  el  estado  actual  de  la 
orientacidn  educativa,  y en  ultimo  termino,  optimizar  la  orientacion  educativa. 

2)  Validar  el  S.I.  a traves  de  un  juicio  de  experts. 

3)  Realizar  prueba-piloto  del  S.I.,  con  el  objeto  de  concretar  el  S.I.  en  el  context  peculiar  de  cada  Equipo  de 
Orientacion. 
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Muestra  y m£todo  de  muestreo 

Para  realizar  la  validacion  de  contenido  del  Sistema  de  Indicadores  elaborado  se  recogieron  los  juicios  de  valor  de  expertos  en  el  tema, 
mediante  la  tecnica  Delphi.  Dicha  muestra  de  expertos  fue  intencional  u opindtica,  ya  que  la  selecci6n  se  hace  por  expertos,  segun  los 
siguientes  crfterios  que  determinaban  el  perftl  de  experto:  Academico-universitario,  Universitario-profesional,  profesional.  Se  seleccionaron 
18  expertos  divididos  en  estos  tres  grupos  equilibrados,  y que  representaran  a priori  las  diferentes  posturas  sobre  el  tema:  visidn  academico / 
profesional,  titularidad  del  centra  (publico/privado/concertado),  nivel  de  accion  (D.O/EOEP),  diferente  ubicaci6n  geografica.  Por  ultimo,  los 
criterios  de  valoraci6n  para  cada  indicador  fueron  tres:  Claridad  (SI/NO),  Aceptacion  y Ponderacion  (5  4 3 2 1),  Medida  (CN,  CL,  MT). 

Para  realizar  la  concrecion  del  S.I.  no  hubo  muestra,  sino  que  se  utilizd  el  criterio  de  la  disponibilidad  y voluntariedad  de  los  EOEP  de 
Madrid.  Se  reunieron  11  equipos  de  orientacion. 

Metodologia  de  trabajo 

La  metodologia  para  la  elaboration  del  S.I.  fue:  1)  Especificacion  del  concepto,  calidad  y objetivos  de  la  orientacion;  2)  Desarrollar  un 
modelo  teorico:  con  variables  de  contexto,  entrada,  proceso  y producto;  asi  como  criterios  de  relation  como  funcionalidad,  eficiencia, 
aplicabilidad,  productividad,  eficacia/efectividad;  3)  Identificar  una  red  jerarquica  de  factores  (6),  dimensiones  (20)  y dimensiones  (100);  4) 
Elaborar  la  estructura  del  S.I.:  tiene  cuatro  secciones  a)  Indicadores,  b)  Recogida  de  informacion,  c)  Valoracion/Decisidn,  d)  Plan  de  accion. 

La  metodologia  para  la  validacion  del  S.I.  fue:  1)  Seleccion  de  Expertos;  2)  Diseno  del  cuestionario  de  validacion;  3)  Aplicacion  y 
recogida  de  informacion  a expertos;  4)  Analisis  de  informacion  (Deiimitaci6n  de  los  puntos  de  corte);  5)  Valoracion  general  del  Sistema  de 
Indicadores  (Ponderacion  definitiva  de  indicadores,  Combination  y consenso  de  la  propuesta  de  expertos). 

La  metodologia  para  la  concrecion  del  S.I.  fue:  1)  Realizar  un  analisis  DAFO  del  Equipo  o D.O.;  2)  Detectar  las  necesidades  de 
orientacion  y priorizarlas;  3)  Establecer  las  discrepancias  entre  el  presente  y futuro  en  dichas  necesidades;  4)  Seleccion  de  los  indicadores 
utiles,  asf  como  los  indicadores  utiles  pero  no  factibles;  5)  Anadir  los  indicadores  nuevos  que  sean  necesarios. 

Tecnicas  de  analisis 

Las  tecnicas  de  analisis  utilizadas  para  los  datos  de  la  validacion  de  expertos  fueron:  1)  Analisis  exploratorio:  distribution  de  frecuencias 
y porcentajes  por  indicador;  dimension,  factor  y grupo  de  expertos;  medidas  de  tendencia  central  y de  dispersion  (para  ver  la  variabilidad  y 
amplitud  del  S.I.)  por  indicador,  dimension  y factor,  asf  como  por  grupo  de  expertos;  2)  Analisis  exploratorio  de  conglomerados  por  sujetos 
(para  las  dimensiones  y los  factores),  utilizando  el  metodo  jerarquico  aglomerativo  (para  ver  la  congruence  y robustez  del  S.I.). 

Se  utilizd  el  paquete  SPSS  X.  Una  vez  analizados  los  datos,  se  modified  el  S.I.  de  acuerdo  a los  puntos  de  corte  definidos  previamente. 

Conclusiones 

En  la  validez  de  contenido  realizada,  se  llega  a las  siguientes  conclusiones: 

1.  De  los  100  indicadores  posibles,  solo  16  salen  obligatorios  (Imprescindibles).  Los  demas  seran  opcionales  para  cada  EOEP. 
Pertenecen  a aspectos  de  entrada  que  suelen  ser  parte  del  trabajo  diario  del  orientador:  1.3.4.  Constitucion  del  D.O./EOEP;  1.3.5.  Coordinacion 
del  PCO;  1.6.8.  Actividades;  1.6.10.  Personal;  1.6.11.  Recursos  necesarios;  1.6.12.  Tiempo  y secuenciacion  de  actividades;  1.6.13.  Destinata- 
rios;  1.6.15.  Valoracidn  del  PCO;  1.7.1.  N°  de  Personal;  1.8.1.  Formation  inicial  del  personal;  1.9.1.  Funciones  y roles  profesionales;  1.9.2. 
Responsabilidades  del  orientador  y personal  de  apoyo;  1.9.3.  Competencias  necesarias;  1.9.4.  Tareas;  1.12.1.  Adecuacion  y accesibilidad  de 
espacios;  1.13.2.  Materiales  de  diagn6stico. 

2.  En  el  cristerio  de  claridad,  los  indicadores  mas  claros  pertenecen  a los  factores:  II.  Diseno  del  PCO  y IV.  Ejecuci6n  del  PCO.  Los 
menos  claros  pertenecen  a los  factores:  V.  Planificacidn  de  la  evaluacion  y VI.  Resultados.  El  grupo  de  «practicos»  senala  mayor  claridad  que 
el  resto  de  expertos. 

3.  En  el  criterio  de  aceptacion  y ponderacidn,  existe  gran  similitud  de  respuestas  en  los  3 grupos  de  expertos,  oscilando  entre  5 (lmprescin- 
dible),  4 (lmportante)  y 3 (Opcional),  aunque  dan  mayor  ponderaci6n  el  grupo  de  «academicos-practicos».  Los  factores  con  mas  peso  son:  Diseno, 
Contexto,  Implementation.  Los  que  reciben  menor  peso  son:  Evaluacion,  Recursos  y Resultados. 

4.  En  el  criterio  de  medida,  la  mas  valorada  en  la  medida  cualitativa  y mixta.  Existe  gran  afmidad  en  las  respuestas  de  los  3 grupos  de  expertos 
y similitud  de  respuestas  en  todos  los  indicadores  excepto  D10  (cuantitativa)  correspondiente  a Prepuesto. 

En  la  prospectiva,  seria  interesante:  a)  Contextualizar  el  S.I.  en  varios  EOEP  y establecer  un  sistema  de  relaciones  y conrespondencias  entre 
indicadores;  b)  Asignar  pesos  a cada  uno  de  los  indicadores  del  sistema;  y,  c)  Elaborar  unas  Gufas  de  recogida  de  informacidn  para  cada  indicador. 
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AIDIPE 

Asociacion  Interuniversitaria  de  Investigacion  Pedagogica,  creada  en  1987 


FINES  DE  LA  ASOCIACI6N 

a)  Fomentar,  estimular  e impulsar  la  investigacion  educativa  de  car&cter  empirico  en  todas  sus 
vertientes  y ambitos  de  aplicacion. 

b)  Difundir  los  resultados  de  esta  investigacion. 

c)  Agrupar  a todos  los  que  en  Espana  cultivan  esta  area  de  conocimiento,  como  docentes  o 
investigadores. 

d)  Colaborar  con  las  autoridades  educati vas  y de  politica  cientifica  en  la  elaboration  de  instrumentos 
de  medida,  evaluation  y de  disenos  de  investigacion  tendentes  a la  mejora  del  sistema  educativo 
y de  desarrollo  de  los  mismos. 

e)  Favorecer  la  formation  y el  perfeccionamiento  especializado  del  personal  investigador  y de  todos 
aquellos  profesionales  que  intervienen  en  la  investigacion  educativa. 

f)  Velar  por  la  calidad  cientifica  y profesional  de  las  actividades  relacionadas  con  la  investigacion 
educativa. 

g)  Velar  por  el  respeto  y cumplimiento  de  las  normas  deontologicas  de  la  investigacion  cientifica 
referida  al  campo  psicopedagogico. 

DERECHOS  DE  LOS  SOCIOS 

Los  socios  numerarios  y fundadores  tendrdn  los  siguientes  derechos: 

a)  Tomar  parte  en  cuantas  actividades  organice  o patrocine  la  Asociacion  en  cumplimiento  de  sus 
fines. 

b)  Disfrutar  de  todas  las  ventajas  y beneficios  que  la  Asociacion  pueda  obtener. 

c)  Participar  en  las  Asambleas  con  voz  y voto. 

d)  Ser  electores  y elegibles  para  los  cargos  directivos. 

e)  Recibir  information  sobre  los  acuerdos  adoptados  por  los  organos  directivos,  sobre  las  activida- 
des tecnicas  y cientificas  que  la  Asociacion  desarrolle. 

f)  Hacer  sugerencias  a los  miembros  de  la  Junta  Directiva  de  la  Asociacion. 

g)  Impugnar  los  acuerdos  y actuaciones  de  la  Asociacion  que  sean  contrarios  a los  Estatutos,  dentro 
del  plazo  de  cuarenta  dias  y en  la  forma  prevista  por  las  leyes. 

Cada  socio  tiene  derecho  a recibir  la  Revista  de  Investigacion  Educativa  de  forma  gratuita. 

SEMINARIOS 

AIDIPE  organiza  cada  2 anos,  un  Seminario  Nacional  con  un  tema  central  en  tomo  al  cual  giran  las 
ponencias,  comunicaciones,  mesas  redondas.  Los  primeros  Congresos  han  sido  los  de  Barcelona  (1981), 
Sitges  (1983),  Gijon  (1985),  Santiago  de  Compostela  (1988),  Murcia  (1990). 


PUBLICACIONES 

AIDIPE  publica  las  Actas  de  sus  Seminarios,  asi  como  la  Revista  de  Investigacion  Educativa  (RIE) 
con  cardcter  semestral. 


Para  m&s  informacion,  ver  hoja  de  inscription  adjunta. 


NORMAS  PARA  LAS  COLAB ORACIONES 


El  objetivo  de  la  Revista  de  Investigacion  Educativa  es  promover  el  intercambio  de 
information  acerca  de  investigaciones  empiricas  de  caracter  educativo.  Todo  profesio- 
nal  que  desee  colaborar  en  la  revista  debera  atenerse  a las  siguientes  indicaciones: 

: 1.  Los  trabajos  deberan  ser  originales  y versar  sobre  investigacion  educativa. 

1 2.  El  autor  o autora  debera  enviar  un  original  y tres  copias  mecanografiadas  a la 

redaccion  de  la  Revista. 

3.  El  autor  o autora  debera  especificar  debajo  del  nombre  del  articulo  su  direction 
profesional  y su  E.mail.  Si  son  varios  autores/as,  se  adjuntara  el  E.mail  del  primer  autor 
como  mmimo. 

4.  La  extension  maxima  de  los  trabajos  no  debera  exceder  las  25  paginas  en  DIN-A4, 

' a doble  espacio  y numeradas.  Se  acompanara  un  abstract  de  100  a 150  palabras  en 

ingles  y espanol. 

5.  Con  la  finalidad  de  simplificar  el  proceso  de  confection  de  la  revista  y,  sobre 
toco,  de  reducir  al  maximo  las  erratas  y costos,  se  ruega  a los  autores/as  enviar  el 
trabajo,  ademas  de  las  copias  en  papel,  en  disquette  compatible.  Se  aceptan  los  siguien- 
tes programas  de  tratamiento  de  textos:  Word  Star,  Word  Perfect,  MSWord  y otros. 

6.  Los  trabajos  recibidos  seran  sometidos  a informe  del  Consejo  Asesor  de  la 
Revista  (quien  decidira  sobre  su  publicacion  o no). 

7.  Los  trabajos  recibidos  para  su  publicacion  en  la  revista  estaran  sujetos  a un  doble 
proceso  de  filtro  para  garantizar  la  objetividad  del  juicio.  En  primer  lugar,  existira  un 
proceso  de  separation  de  las  identificaciones  de  los  autores/as  de  los  trabajos  candidatos 
a ser  publicados  junto  con  la  asignacion  de  codigos  identificativos.  Ademas,  existira  un 
proceso  completamente  independiente  de  election  de  jueces  entre  el  Consejo  Asesor. 
Ambos  procesos  seran  totalmente  independientes  y transparentes  entre  si,  de  forma  que 
al  asignar  un  conjunto  de  jueces  del  Consejo  Asesor  se  desconoce  cualquier  informa- 
cion sobre  el  articulo,  salvo  el  conjunto  de  descriptores  sobre  su  contenido. 

8.  Se  notificara  a sus  autores/as  los  trabajos  aceptados  para  su  publicacion. 

9.  Para  la  redaccion  de  los  trabajos  se  recomienda  que  sigan  las  normas  de  la  A.P.A. 
(American  Psychology  Association).  (Ver  adaptation  publicada  en  el  n.°  19,  Ler  semes- 
tre  1992  de  R.I.E.). 

10.  Las  fichas  resumen  se  cumplimentaran  de  acuerdo  con  el  modelo  propuesto  e 
impreso  por  la  Revista,  a cuya  sede  podra  solicitar  los  ejemplares. 

1 1 . Los  numeros  se  cierran  los  dias  1 de  mayo  y 1 de  noviembre  de  cada  ano. 

12.  La  R.I.E.  es  de  caracter  semestral. 

13.  Los  autores/as  deben  incluir  en  sus  artfculos  referencias  a otros  trabajos  publica- 
dos en  RIE  que  traten  sobre  el  mismo  tema. 
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El  presente  numero  monografico,  dedicado  a la  evaluacion  de  programas  educati- 
vos,  responde  a un  encargo  de  los  responsables  de  AIDIPE,  aceptado  con  gusto  e inte- 
res  por  parte  de  quien  escribe. 

En  mi  responsabilidad  de  editor  del  numero  monografico  he  deseado  compatibili- 
zar  dos  importantes  principios:  a)  dejar  clara  mi  propia  posicion,  que  pretende  esta- 
blecer  una  intirna  relation  entre  los  trabajos  pedagogicos  y la  educacion  real  que  se  da 
en  los  diferentes  ambitos,  desde  el  aula  al  centra,  desde  la  familia  a la  sociedad,  y b) 
respetar  plenamente  las  posiciones  de  todos  los  companeros  invitados  a participar  con 
sus  aportaciones.  Queda  para  el  lector  la  tarea  de  valorar  el  numero  como  unidad  y 
cada  una  de  las  contribuciones  en  particular. 

EDUCACION  Y PEDAGOGIA 

Educacion  y Pedagogfa  no  siempre  han  ido  de  la  mano,  como  corresponderfa  a dos 
realidades  hermanadas  al  ser  la  primera  el  objeto  de  estudio  de  la  segunda.  En  esa  falta 
de  sintorda  ha  sido  frecuente  que,  quienes  cultivamos  la  Pedagogfa  como  hacer  cientffico, 
nos  hayamos  dedicado  al  estudio  de  problemas  alejados  de  la  realidad  que  ocupa,  y pre- 
ocupa,  a los  educadores  en  las  aulas,  en  el  seno  familiar  o en  el  ambito  comunitario,  o que 
lo  hayamos  hecho  desde  enfoques  sociologies,  psicologicos,  politicos  e incluso  economi- 
cos,  en  lugar  de  abordarlos  decididamente  desde  la  perspectiva  que  nos  es  propia. 

Si  lo  segundo  puede  entenderse  en  la  medida  en  que  la  realidad  educativa  es  com- 
pleja,  poliedrica,  multidimensional,  lo  primero  encuentra  en  ocasiones  una  explicacion 
en  el  propio  clima  universitario:  hay  que  estar  «a  la  ultima»,  bien  sea  estudiando  el  pro- 
blema  de  moda,  bien  acudiendo  a la  ultima  teorfa  formulada  en  un  congreso  o debate 
cientffico,  bien  utilizando  la  metodologfa  mas  avanzada,  aunque  no  tengamos  la  con- 
viction de  que  con  ello  abordamos  problemas  reales  o les  damos  soluciones  adecuadas. 
En  esas  condiciones,  es  frecuente  el  divorcio  entre  Educacion  y Pedagogfa,  constatado 
en  la  minima  influencia  de  la  investigation  pedagogica  sobre  la  accion  educativa  de  los 
profesores  en  aulas  y centres  o de  cualquier  educador  en  su  ambito  de  actuation1. 


1 En  modo  alguno  pretendo  mantener  una  especie  de  servidumbre  de  la  Pedagogfa  a la  Educacion.  La 
Pedagogfa  debe,  sf,  encontrar  soluciones  rigurosas,  cientfficas  si  cabe,  a los  problemas  reales  de  la  Educa- 
cion, pero  tambien  debe  ir  por  delante  de  ella,  atisbando  problemas,  adelantandose  a las  situaciones,  pro- 
mo viendo  innovaciones ... 
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La  evaluacion  de  programas  o,  si  se  quiere,  la  investigacion  evaluativa,  es  una 
modalidad  de  actuacion,  pedagogica  si  se  enfoca  desde  tal  perspectiva,  que  puede,  y 
debe,  hallarse  alejada  del  primero  de  los  dos  defectos  ya  que,  por  su  propia  naturale- 
za,  se  encuentra  «pegada  a tierra»  al  centrar  su  objeto  de  reflexion,  de  analisis  e inves- 
tigacion en  los  programas  educativos  en  los  que  bien  sean  los  profesores  y educadores, 
bien  los  responsables  de  los  sistemas  educativos,  concretan  sus  actuaciones  sistemati- 
cas  al  servicio  de  las  metas  educativas. 

LA  EVALUACION  DE  PROGRAMAS  Y LA  MEjORA  DE  LA  ACCION  EDUCATIVA 

Este  hecho,  por  si  solo,  bastaria  para  reconocer  a la  modalidad  de  investigacion 
estudiada  en  el  presente  numero  de  RIE  una  potencial  gran  importancia  para  mejorar 
la  realidad  educativa.  Es  por  ello  que,  recientemente,  con  motivo  de  un  encuentro  del 
area  en  Valencia2,  afirmaba  lo  siguiente: 

La  evaluacion  de  programas  educativos  tal  vez  sea,  o deba  serlo,  una  de  las  modalidades 
de  investigacion  pedagogica  mas  utilizadas  y,  desde  luego,  con  mayores  posibilidades  y 

aplicaciones. 

No  debe  extranarnos  que  asi  sea  si  tenemos  en  cuenta  que  la  educacion,  por  su  propia 
naturaleza,  es  una  actuacion  organizada  y sistemdtica  al  servicio  de  la  mejora  o perfec- 
cionamiento  del  ser  humano,  concepcion  totalmente  compatible  con  la  de  programa,  que 
no  es  sino  un  plan  sistematico  de  actuacion  al  servicio  de  metas  pedagogicamente  valio- 
sas.  Podnamos  afirmar  que  los  educadores  encarnan  sus  planteamientos  educativos  en 
programas  de  mayor  o menor  amplitud,  complejidad  y duracidn.  Otra  cosa  sera  si  los  pro- 
gramas de  los  educadores  responden  a las  caracteristicas  tecnicas  que  les  son  exigibles. 

Pues  bien,  la  evaluacion  de  programas  puede  realizar  grandes  aportaciones  a la 
educacion,  comenzando  por  esta  ultima:  analizar  y valorar  si  «/os  programas  de  los  edu- 
cadores responden  a las  caracteristicas  tecnicas  que  les  son  exigibles».  Pero,  tambien,  muchas 
otras,  algunas  de  enorme  entidad  y valor  pedagogico,  resaltando  las  siguientes: 

• Si  los  propios  programas  son  educativos. 

- • Si  se  da  coherencia  entre  los  programas  como  documentos  y su  efectiva  imple- 
mentation y desarrollo. 

• Si  la  propia  evaluacion,  en  y del  programa,  resulta  armoniosa  y coherente  con 
el  programa  y con  su  implantation. 

• Si  el  programa  resulta  eficaz,  efectivo  y eficiente. 

• Si  aparecen  efectos  no  planeados  y no  deseables. 

• Si  la  evaluacion  del  programa  sirve  para  algo  mas  que  la  pura  constatacion  de 
su  eficacia,  contribuyendo  a su  continua  y progresiva  mejora  en  sucesivas  apli- 
caciones. 

• Si ... 


2 I Jornadas  de  Medicion  y Evaluacion  Educativas:  Estandares  e indicadores  para  analizar  la  realidad  educati- 
va, celebradas  en  la  Universidad  de  Valencia  los  dias  8 a 10  de  marzo  de  2000. 
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Y es  que,  realmente,  las  aportaciones  de  una  adecuada  evaluacion  de  programas 
son  muchas,  variadas  y de  gran  valor  pedagogico,  siendo  las  circunstancias  y las  nece- 
sidades  de  cada  caso  las  que  ordenaran  la  evaluacion  en  la  direccion  adecuada.  De 
hecho,  los  movimientos  de  calidad,  con  sus  diversos  modelos  mas  o menos  elaborados 
e implantados3,  reconocen  en  la  evaluacion  la  principal  estrategia  o herramienta  al  ser- 
vicio  de  uno  de  sus  principios  fundamentals:  el  de  la  mejora  continua.  En  la  misma 
direccion  se  manifiesta  el  Consejo  de  la  Union  Europea4,  cuando  recomienda  a los  Esta- 
dos  «Apoyar  y,  en  su  caso,  crear  sistemas  transparentes  de  evaluacion  de  la  calidad»,  al  servi- 
cio  de  diferentes  objetivos,  siendo  el  segundo  de  ellos  el  de 

«estimular  y ayudar  a los  centros  de  ensenanza  superior  para  que  utilicen  medidas  ade- 
cuadas,  en  particular  en  lo  que  se  refiere  a evaluacion,  con  el  fin  de  mejorar  la  calidad  de 
la  ensenanza  y del  aprendizaje,  asi  como  de  la  formacion  en  la  investigacion,  otro  dmbi- 
to  importante  de  su  mision». 

Parece,  por  tanto,  necesario  y conveniente  que  el  Area  de  Me'todos  de  Investigacion  y 
Diagnostico  en  Educacion  dedique  una  parte  importante  de  sus  esfuerzos  a tema  de  tan- 
ta  relevancia  y trascendencia. 

LOS  DOS  POLOS  DE  REFERENCIA 

La  evaluacion  de  programas  educativos  es,  pues,  una  actividad  pedagogica  con 
gran  potencialidad  de  mejora  de  la  accion  educativa,  pero  puede  tomar  manifestacio- 
nes  muy  diferentes  segun  nos  refiramos  a ella  como  una  actividad  ordinaria  de  los  pro- 
fesores,  a tftulo  individual  o como  equipos  docentes,  o lo  hagamos  desde  el  enfoque 
de  la  denominada  investigacion  evaluativa. 

Si  en  el  primero  de  los  casos  no  es  preciso  un  gran  aparato  metodologico,  siendo 
suficiente  con  una  adecuada  actitud  de  autocritica,  una  sencilla  herramienta  para  la 
autoevaluacion  — individual  o en  pequeno  grupo — y un  fuerte  compromiso  con  la 
mejora,  en  el  segundo  la  metodologia  se  convierte  en  un  elemento  basico. 

Pero  me  interesa  dejar  clara  constancia  de  que  la  mejora  de  la  educacion  en  el  aula, 
en  el  centro,  en  la  familia  o en  los  diferentes  ambitos  sociales  esta  mucho  mas  ligada  a 
la  efectiva  autoevaluacion  llevada  a cabo  por  los  educadores  sobre  sus  respectivos  pro- 
gramas que  a las  evaluaciones  rigurosas,  a veces  sofisticadas,  que  puedan  llevar  a cabo 
los  expertos  sobre  los  programas  disenados  por  las  administraciones  educativas  o 
aquellas  entidades  con  responsabilidades  de  diferente  indole  ligadas  a la  educacion  de 
las  jovenes  generaciones5. 


3 Destaquemos  entre  ellos  las  normas  ISO,  Calidad  Total,  Premios  Deming  o Baldrige,  o el  modelo 
europeo  de  gestion  de  la  European  Foundation  for  Qualiy  Management  (EFQM). 

4 En  su  recomendacion  de  24  de  septiembre  de  1998  sobre  la  cooperacion  europea  para  la  garantxa  de 
la  calidad  de  la  ensenanza  superior.  (98/56  1 / CE). 

5 Entre  otras  razones  porque  tales  evaluaciones  no  siempre  son  utilizadas  al  servicio  de  la  mejora, 
quedando  en  ocasiones  en  actuaciones  que  acaban  en  si  mismas,  como  un  requisito  socialmente  bien  visto, 
pero  sin  incidencia  alguna  para  futuras  aplicaciones  de  los  programas  y proyectos. 
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EVALUACION  ORDINARIA  DE  PROG  RAM  AS  Y PROPUESTAS  EVALUATIVAS 
FACTIBLES 

No  debe  extranar,  en  este  contexto,  que  la  tarea  del  Area  en  el  caso  de  las  evalua- 
ciones  ordinarias  a realizar  por  parte  del  profesorado  — autoevaluaciones — debiera 
centrase  en  la  elaboracion  de  propuestas  metodologicas  sencillas,  razonables,  factibles 
en  definitiva,  que,  sin  distraer  a los  profesores  de  su  funcion:  ensenar,  formar,  educar, 
les  ayuden  a hacerlo  de  modo  satisfactorio,  eficiente  y eficaz,  a la  vez  que  les  resulten 
de  utilidad  para  su  mejora  como  profesionales. 

La  tarea  no  es  facil,  pero  deberia  ser  abordada  desde  el  Area;  consistiria  en  la  detec- 
cion  y delimitation  de  los  componentes  basicos  de  la  evaluacion  de  los  programas  que, 
dejando  de  lado  otras  manifestaciones  secundarias,  aportaran  el  maximo  de  informa- 
cion  relevante  con  el  minimo  de  esfuerzo  y tiempo  por  parte  de  los  equipos  de  profe- 
sores. 

La  elaboracion  de  una  tal  pauta  sencilla,  factible  y util,  ademas  de  la  contribution  a 
la  creation  en  los  centros  educativos  y,  sobre  todo,  en  los  de  formation  del  profesora- 
do, de  una  cultura  evaluativa,  integrada  por  una  adecuada  capacitacion  y una  actitud 
favorable  a la  evaluacion  integral,  serian  las  dos  responsabilidades  prioritarias  del 
Area. 

Conviene  no  olvidar,  por  otra  parte,  que  un  planteamiento  sistematico  de  la  eva- 
luacion de  programas  ordinarios  puede  dar  lugar  a un  conocimiento  tecnico  de  gran 
relieve  y utilidad  tanto  para  la  mejora  de  la  actividad  educativa  como  de  la  metodolo- 
gia  de  la  evaluacion  de  los  programas  educativos. 

INVESTIGACION  EVALUATIVA  DE  PROGRAMAS 

La  investigacion  evaluativa  ha  de  responder  a los  esquemas  de  rigor  de  toda  inves- 
tigacion, teniendo  en  cuenta,  eso  si,  las  peculiaridades  que  definen  a la  evaluacion  en 
relacion  con  la  investigacion  y que  fueron  expuestas  con  claridad  por  Popham6  al  ana- 
lizar  las  diferencias  en  sus  objetivos,  nivel  de  generalizacion  y enfasis  valorativo. 

En  relacion  con  el  rigor  metodologico,  me  interesa  resaltar  un  hecho  de  especial 
relevancia:  la  complejidad  y la  multidimensionalidad  de  los  programas  educativos,  que 
debe  encontrar  su  adecuada  respuesta  metodologica. 

La  respuesta  la  planteo  en  terminos  del  principio  de  complementariedad  metodologica, 
concepto  debido  al  profesor  V.  Garcia  Hoz7,  que  va  mas  alia  del  multiplismo  formulado 
por  Cook  en  19858.  El  principio  implica  la  tendencia  a acudir,  y armonizar,  las  aporta- 


6 Popham,  W.J.  (1980).  Problemas  y tecnicas  de  la  evaluacion  educativa.  Madrid:  Anaya,  20-25.  Puede  con- 
sultarse  la  entrada  Investigacion  evaluativa  en  A.  de  la  Orden  Hoz  (1985.  Investigacion  educativa.  Diccionario  de 
Ciencias  de  la  Educacion.  Madrid:  Anaya. 

7 Garcia  Hoz,  V.  (1991).  El  principio  de  complementariedad  en  la  investigacion  pedagogica  y en  la 
educacion  personalizada.  Anales  de  la  Real  Academia  de  Ciencias  Morales  y Politicos,  68,  299-317. 

8 Cook,  T.D.  (1985).  Postpositivist  Critical  Multiplisms.  En  L.  Shotland  y M.M.  Marck  (Edits).  Social 
Science  and  Social  Policy.  Beverly  Hills:  Sage. 
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ciones  de  los  diferentes  enfoques  metodologicos,  aplicados  a las  distintas  evaluaciones 
integrantes  de  una  evaluation  integral,  las  diversas  fuentes  productoras  de  informa- 
tion y,  por  consiguiente,  las  distintas  tecnicas  e instrumentos  para  su  recogida  siste- 
matica  y rigurosa,  atendiendo  a las  exigencias  tecnicas  de  fiabilidad,  validez  y valia  de 
la  informacion. 

En  este  punto,  resultan  de  extraordinario  valor  los  estandares  de  calidad  del  Joint 
Committee,  publicados  en  1994,  si  bien  parece  necesario  plantear  tambien  estandares 
sobre  los  propios  programas.  En  tal  sentido  se  sugiere  la  formulacion  de  estandares 
sobre  la  calidad  intrinseca,  tecnica  y metodologica  de  los  mismos. 

EL  NUMERO  MONOGRAFICO 

El  numero  monografico  sobre  Evaluation  de  Programas  Educativos,  se  estructura  en 
tres  partes  claramente  diferentes  pero  intimamente  relacionadas  y complementarias 
entre  si: 

a)  Planteamientos  metodologicos  generates.  Reflexiones  y propuestas  metodolo- 
gicas  validas  «en  general»,  aunque  en  cada  evaluacion  concreta  tales  propuestas 
puedan  presentar  matices  y diferencias. 

b)  Planteamientos  metodologicos  especialmente  adecuados  a la  evaluation  de 
cierto  tipo  de  programas,  bien  por  su  mayor  o menor  extension,  amplitud  y 
complejidad  bien  por  la  propia  naturaleza  o tematica  de  los  programas  (bien 
dotados,  necesidades  educativas  especiales,  multiculturalidad...). 

c)  Planteamientos  que  vienen  siendo  utilizados  en  la  realization  de  evaluaciones 
concretas  en  los  Departamentos  del  Area  de  MIDE.  No  se  trata  de  informes  de 
investigacion  sino  de  trabajos  de  smtesis,  realizados  por  una  persona  encargada 
de  ello  en  cada  Departamento.  Con  esta  tercera  parte  se  pretende  alcanzar  algo 
asi  como  un  mapa  metodoldgico  del  Area  en  el  marco  de  la  Evaluacion  de  Pro- 
gramas. 

Si  bien  se  considera  que  las  aportaciones  al  apartado  a)  tratan  los  problemas  fun- 
damentales  de  su  ambito,  los  correspondientes  al  apartado  b)  no  son  sino  unos  ejem- 
plos  concretos  de  los  muchos  que  podrfan  haberse  seleccionado.  Al  apartado  a) 
corresponden  las  aportaciones  de  la  primera  parte  del  numero  monografico;  al  b)  las 
de  la  segunda  parte;  y al  c)  las  de  la  tercera  parte. 

Con  estas  premisas,  la  estructura  del  numero  y su  contenido  es  la  siguiente9: 

PRIMERA  PARTE 

1.  La  evaluacion  de  programas  educativos:  conceptos  basicos,  planteamientos 
generales  y problematica.  Por  Ramon  Perez  Juste. 


9 Es  preciso  indicar  de  que  algunos  autores  han  modificado  el  ti'tulo  inicialmente  concertado. 
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2.  La  evaluacion  de  programas  sociales.  Fundamentos  y enfoques  teoricos10.  Por 

Mario  de  Miguel  Diaz. 

3.  El  diseno  y los  disenos  en  la  evaluacion  de  programas.  Por  Francisco  Javier 
Tejedor  Tejedor. 

4.  La  validez  en  la  evaluacion  de  programas.  Por  Jesus  Jornet  Melia,  J.M.  Suarez 
y A.  Perez  Carbonell. 

5.  El  analisis  de  datos  en  la  evaluacion  de  programas  educativos.  Por  Luis  Liza- 
soain  Hernandez  y Luis  Joaristi  Olariaga. 

6.  La  funcion  optimizante  de  la  evaluacion  de  programas  evaluativos.  Por  Arturo 
de  la  Orden  Hoz. 

SEGUNDA  PARTE 

7.  El  muestreo  y su  problematica  en  las  evaluaciones  de  programas  institucio- 
nales.  Por  Jose  Luis  Gaviria  Soto. 

8.  La  evaluacion  de  la  ensenanza  en  la  Universidad. 

8.1.  La  evaluacion  y mejora  de  la  ensenanza  en  la  universidad:  otra  perspectiva. 
Por  Tomas  Escudero  Escorza. 

8.2.  La  evaluacion  de  la  actividad  docente  en  la  universidad:  entre  el  sueno  y la 
realidad.  Por  Gregorio  Rodriguez  Gomez. 

8.3.  La  evaluacion  de  la  ensenanza  por  los  alumnos  en  el  Plan  Nacional  de  Eva- 
luacion de  la  Calidad  de  las  Universidades.  Construction  de  un  instrumen- 
to  de  evaluacion.  Por  Juan  Ruiz  Carrascosa. 

9.  Evaluaciones  de  programas  de  formacion  universitaria  en  el  ambito  europeo 
y americano.  Coherencia  con  las  demandas  sociales.  Por  Honorio  Salmeron 
Perez. 

10.  Nuevas  tendencias  en  la  evaluacion  de  programas  de  Educacion  Multicultu- 
ral. Por  Margarita  Bartolome  Pina  y Flor  Cabrera  Rodriguez. 

11.  Los  programas  de  Orientacion  y su  evaluacion. 

11.1.  La  evaluacion  de  Programas  Informatizados.  Por  Victor  Alvarez  Rojo, 
Eduardo  Garcia  Jimenez,  Javier  Gil  Flores  y Soledad  Romero  Rodriguez. 

11.2.  El  Programa  de  Orientacion  «Tu  futuro  profesional»  y su  evaluacion.  Por 
Elvira  Repetto  Talavera  y Juan  Antonio  Gil. 

11.3.  El  orientador  como  investigador  de  la  accion.  Por  Rafael  Sanz  Oro. 

12.  La  evaluacion  de  la  formacion  ocupacional  y continua,  por  Jesus  Suarez 
Rodriguez,  J.M.  Jornet  y MaJ.  Perales. 

13.  Evaluacion  de  programas  para  la  educacion  de  bien  dotados. 

13.1.  Evaluacion  de  Programas  para  la  Educacion  de  Sobredotados  por  Jose 
Cajide  Val. 


10  El  tftulo  inicialmente  previsto  fue  el  de  Paradigmas,  modelos  y metodologias.  iHacia  la  complementarie- 
dad  metodologica? 
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13.2.  Evaluation  de  programas  para  alumnos  superdotados.  Por  Carmen  Jime- 
nez Fernandez.  Con  la  colaboracion  de  Leonor  Prieto  Navarro  y de  Marta 
Sandoval  Mena. 

13.3.  Evaluation  de  programas  para  alumnos  de  alta  capacidad:  Algunos  pro- 
blemas  metodologicos.  Javier  Touron. 

14.  Evaluation  de  programas  de  Education  Emotional.  Por  Manuel  Alvarez, 
Rafael  Bisquerra,  Eva  Fita,  Francesc  Martinez  y Nuria  Perez. 

15.  Evaluation  de  programas  de  atencion  a los  ninos  con  discapacidades.  Por 
Maria  Luisa  Duenas  Buey. 


Metodologfas  habituales  en  las  evaluaciones  de  programas  de  los  Departamen- 
tos  del  Area  MIDE. 

Para  la  tercera  parte  se  invito  a profesores  de  diferentes  universidades  para  que  rea- 
lizaran  una  sintesis  de  las  evaluaciones  realizadas  en  los  diferentes  departamentos  del 
Area  de  MIDE. 

En  el  presente  numero  se  recogen  las  aportaciones  de  las  siguientes  universidades: 

Alicante 

Barcelona 

Cadiz 

Complutense 

Granada 

Jaen 

Malaga 

Murcia 

Salamanca 

Santiago  de  Compostela 

Sevilla 

UNED 

El  esquema  basico  es  el  siguiente: 


TTTULO  DEL  PROGRAMA 

RESPONSABLE  DEL  PROGRAMA:  Entidad,  Director... 

RESPONSABLE  DE  LA  EVALUACK^N:  Director,  equipo  principal... 

OBJETO  EVALUADO: 

Proyecto  educativo,  proyecto  curricular,  programa  de  una  o varias  materias  (conoci- 
mientos,  procedimientos,  estrategias,  valores),  programa  de  ensenar  a pensar,  progra- 
ma de  orientation  vocacional,  education  vial,  education  compensatoria,  adaptation 
curricular,  formation  ocupacional,  formation  a distancia... 


TERCERA  PARTE 


ERIC 
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OBJETIVOS  de  la  evaluation 

FUNCIC^N:  formativa,  sumativa,  control,  sociopolftica... 

PARADIGM  A:  cuantitativo,  cualitativo,  critico,  eclectico  (especificar)... 

MODELO:  resultados,  proceso-producto,  CIPP... 

METODOLOGIA  DE  LA  EVALUACI6N: 

• Diseno 

• Tecnicas  de  recogida  de  information 

• Criterios  utilizados  para  valorar  la  informacion:  suficiencia,  viabilidad,  eva- 
luabilidad,  eficacia,  eficiencia,  efectividad,  ... 

• Referencias:  estandares  prefijados  (criterial),  normas  autonomicas,  nacionales  o 
internacionales,  superioridad  sobre  otros  programas,  progreso  sobre  el  propio 
programa... 

• Tecnicas  de  registro  y analisis  de  la  informacion 

• Tipos  de  decisiones 

INFORME:  destinatarios,  estructura,  amplitud,  . . . 


En  algunos  de  los  temas  de  la  segunda  parte  se  invito  a participar  a varios  profe- 
sores  que  vienen  trabajando  y,  en  ocasiones,  teniendo  responsabilidades  diversas,  en  el 
ambito  correspondiente.  A1  tratarse  se  temas  amplios  cabia  la  posibilidad  de  que  la  for- 
ma en  que  se  abordara  el  tema  fuera  diversa,  razon  por  la  cual  se  considero  positivo 
dar  la  oportunidad  de  que  tal  diversidad  pudiera  aflorar.  En  consecuencia,  los  dife- 
rentes  invitados  han  abordado  su  aportacion  sin  necesidad  de  establecer  contactos  des- 
tinados  a alcanzar  la  coherencia  en  los  planteamientos;  antes  al  contrario,  lo  que  se 
pretendio  es  que  quedara  patente  la  diversidad  de  los  mismos  en  caso  de  que  real- 
men  te  existiera. 

En  relation  con  la  tercera  parte  es  preciso  indicar  que,  a pesar  del  guion  de  partida, 
y como  se  podra  apreciar,  la  forma  en  que  los  diferentes  invitados  han  elaborado  su 
aportacion  resulta  heterogenea,  lo  que  no  tiene  necesariamente  que  ser  considerado 
negativo,  si  bien  al  editor  le  hubiera  agradado  una  mayor  uniformidad  para  permitir 
al  lector  una  mayor  facilidad  a la  hora  de  tener  ante  sf  ese  map  a metodoldgico  al  que  alu- 
diamos  mas  arriba. 

Para  finalizar,  unicamente  queda  dar  las  gracias:  a los  responsables  de  AIDIPE  por 
el  encargo  y a todos  los  invitados  que  han  aceptado  por  su  disponibilidad  y su  traba- 
jo.  Al  editor  le  hubiera  gustado  contar  con  mas  colaboraciones  pero,  en  unos  casos  por 
las  limitaciones  de  espacio  — el  numero  es  ya  demasiado  amplio — y en  otras  por 
no  recibir  respuesta  a la  invitation,  no  ha  sido  posible.  Ahora  los  lectores  tienen  la 
palabra. 

Madrid,  octubre  de  2000 

Ramon  Perez  Juste 


PRIMERA  PARTE 


o 

ERIC 
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LA  EVALUACION  DE  PROGRAMAS  EDUCATIVOS: 
CONCEPTOS  BASICOS,  PLANTEAMIENTOS 
GENERALESY  PROBLEMATIC  A 


Ramon  Perez  Juste 
UNED 


RESUMEN 

La  necesaria  relacion  entre  la  Pedagogta  y su  objeto  de  conocimiento,  la  Educacion,  es  objeto 
de  andlisis  a la  hora  de  plantear  las  reflexiones  pertinentes  sobre  la  evaluacion  educativa  en 
general  y la  evaluacion  de  programas  educativos  en  particular. 

La  evaluacion  de  programas  es  analizada  en  la  doble  perspectiva  de  la  mejora  de  la  accion 
educativa  de  profesores  y educadores,  por  un  lado,  y de  la  investigacion  evaluativa  por  otro. 

El  autor  hace  objeto  de  andlisis  tres  conceptos  bdsicos:  programa,  evaluacion  y evaluacion 
de  programas,  planteando  una  propuesta  metodoldgica  especialmente  pensada  para  la  evalua- 
tion de  programas  educativos. 

Por  ultimo,  se  ofrece  una  reflexion  sobre  algunos  temas  especialmente  criticos,  tales  como  el 
papel  de  los  expertos,  la  factibilidad  de  la  evaluacion,  los  aspectos  eticos  de  la  evaluacion  o la 
comparabilidad  de  los  resultados. 

SUMMARY 

The  necessary  connection  between  Pedagogy  and  education,  as  its  knowledge  object,  is  the 
theme  of  analysis  when  we  put  forward  accommodated  studies  on  educational  evaluation,  in 
general,  and  on  educational  programmes  evaluation,  in  particular. 

The  evaluation  of  programmes  is  analysed,  on  the  one  hand,  with  the  double  approach  of  the 
improvement  of  educational  activity  implemented  by  teachers  and  educators  and,  from  the 
other  one,  of  evaluative  research. 
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The  author  offers  as  object  of  analysis  three  basic  concepts:  programme,  evaluation  and  pro- 
gramme evaluation,  by  suggesting  a methodological  proposal  particularly  directed  towards 
evaluation  of  educational  programmes. 

Finally,  a consideration  is  offered  on  some  themes  particularly  critical,  such  as  the  expert  s 
role,  the  evaluation  feasibility,  the  ethical  implications  of  evaluation  or  the  results  compara- 
bility. 


I.  LA  EDUCACION  COMO  OBJETO  DE  CONOCIMIENTO  E INVESTIGACION 

La  education  es  una  actividad  radicalmente  humana,  sistematica,  orientada  al 
perfeccionamiento,  a la  mejora  de  las  personas,  de  cada  una  de  las  personas,  por 
medio  de  acciones  intencionadas  de  los  educadores,  generalmente  concretadas  en 
planes  o programas.  Como  en  cualquier  otro  ambito  de  la  realidad  natural  o social,  el 
ser  humano  se  ha  propuesto  su  conocimiento,  bien  sea  entendido  como  una  com- 
prension  profunda  de  su  naturaleza,  planteamientos,  procesos  y resultados,  bien 
como  una  explicacion  de  los  mismos  mediante  leyes  mas  o menos  generales,  a ser 
posible  de  naturaleza  causal  por  ser  este  el  medio  mas  adecuado  para  su  control  y 
prediction,  bien  como  instrumento  al  servicio  de  la  transformacion  liberadora  de  la 
humanidad1. 

No  es  mi  intention  afrontar,  con  una  minima  profundidad,  los  ya  viejos  debates 
sobre  la  naturaleza  de  la  education  de  cara  a valorar  la  adecuacion  de  los  diversos 
paradigmas  para  producir  conocimiento  relevante  a traves  de  la  reflexion  y de  la 
investigation.  Sin  embargo,  no  es  menos  cierto  que  tal  planteamiento  es  basico  y 
que,  al  menos  de  forma  implicita,  subyace  en  las  decisiones  que  toman  los  profesio- 
nales  de  la  education  o de  la  Pedagogia  cuando  abordan  este  tipo  de  tareas. 

Dejemos  clara,  eso  si,  la  compleja  y diversa  realidad  de  la  Education  como  objeto 
de  conocimiento  e investigation,  de  cara  a justificar  nuestras  propuestas  metodologi- 
cas  en  un  campo  de  tanto  porvenir  — si  se  aborda  adecuadamente — como  el  de  la 
investigation  evaluativa  o evaluation  de  programas. 

I . I . La  education  como  arte 

En  el  ya  anejo  discurso  sobre  estas  cuestiones,  una  de  las  propuestas  es  la  de  consi- 
derar  a la  education  como  un  arte ; y no  es  descabellada  la  idea  sino  todo  lo  contrario, 
cuando  nuestro  foco  de  atencion  es  la  relation  privilegiada,  por  unica,  profunda, 
intensa  y continuada,  entre  un  educador  y un  educando  o todo  un  grupo  de  ninos  o 
jovenes  en  su  etapa  de  formation. 


1 Entiendase  esta  distincion  a los  efectos  meramente  expositivos.  Dificilmente  se  puede  mantener  la 
incomunicabilidad  de  estos  tres  grandes  planteamientos  sobre  la  finalidad  del  saber. 
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Sin  embargo,  el  hecho  de  que  esa  relacion  sea  irrepetible  y,  en  esa  misma  medida, 
se  acerque  a la  existente  entre  el  artista  y la  creacion  de  su  obra2,  no  impide  en  modo 
alguno  la  posibilidad  de  que  el  artista  / educador  encuentre  en  el  saber  pedagogico 
principios,  enunciados,  propuestas...  con  los  que  abordar  con  mayores  posibilidades 
de  exito  una  tarea  tan  apasionante  como  dificil.  Y es  que  el  educador  puede  aplicar  a 
su  situation  concreta  esos  saberes  pedagogicos  que  le  indican  las  regularidades,  los 
grados  de  dispersion,  las  tendencias,  las  secuencias,  los  ciclos...,  al  igual  que  en  la  pin- 
tura,  arte  por  excelencia,  el  pintor  aplica  de  forma  creativa  los  conocimientos  ^cientffi- 
cos?  sobre  proporciones,  perspectiva,  contrastes,  coloridos  ...  imprimiendole  despues 
su  huella  personal. 

1 .2.  La  educacion  como  ciencia 

Precisamente,  la  educacion  puede  ser  objeto  de  un  conocimiento  al  menos  con  pre- 
tension de  cientifico,  en  la  medida  en  que  se  le  aplique  un  metodo  riguroso  al  servicio 
de  metas  relevantes. 

No  insistiremos  mas  el  manoseado  tema  de  los  paradigmas,  pero  si  dejaremos 
constancia  de  que  no  todos  aceptan  — en  realidad  son  cada  vez  menos  los  que  lo 
hacen — que  la  unica  ciencia  posible  sea  la  derivada  de  la  aplicacion  del  metodo  hipo- 
tetico-deductivo-experimental. 

Por  tanto,  en  la  medida  en  que  el  objeto  del  saber  existe,  que  disponemos  de  meto- 
dos  rigurosos  y que  estan  a la  espera  multiples  problemas  y preguntas  por  responder, 
cabe  pensar  en  una  Pedagogia  como  ciencia,  si  no  con  el  estatus  de  las  Ciencias  Natu- 
rales  si  con  el  propio  de  las  de  su  ambito,  las  Ciencias  Humanas  o Sociales. 

En  su  momento3  senalabamos  como  una  de  las  mayores  objeciones  para  aceptar  la 
existencia  de  una  ciencia  de  la  Educacion,  junto  a la  relativa  al  control  en  los  disenos, 
la  posibilidad  de  establecer  leyes  generales.  Sin  embargo,  como  alii  indicabamos,  hay 
autores  que  defienden  tal  posibilidad  en  la  medida  en  que  tal  concepto  no  es  de  signi- 
fication urdvoca.  Acudiamos,  y lo  hacemos  de  nuevo,  a la  afirmacion  de  M.  Sherwood 
(The  logic  of  Explanation  in  Psychoanalysis.  Academic  Press,  1969),  que  recoge  varios 
tipos  de  generalizaciones  aceptables,  resenando  los  siguientes: 


2 Evidentemente,  el  si  mil  es  imperfecto:  mientras  el  artista  trabaja  con  un  objeto  docil,  estable,  que  no 
reacciona  a sus  intervenciones  (o  que,  cuando  lo  hace,  se  comporta  de  conformidad  con  las  leyes  inmutables 
de  la  Naturaleza),  en  educacion  el  objeto  / sujeto  es  capaz  de  atender  o no,  de  aceptar  o no,  de  poner  su 
esfuerzo  o no,  y hasta  de  rechazar  las  propuestas  de  sus  educadores...  El  objeto  humano  es  sujeto,  con  capa- 
cidad  de  tomar  decisiones  y de  comprometerse  con  ellas  con  mayor  o menor  intensidad  y esfuerzo.  Usamos, 
por  tanto,  el  sfmil  unicamente  en  lo  que  vale:  la  dimension  creativa  de  esa  relacion,  donde  las  reglas,  leyes  o 
principios  unicamente  sirven  como  referenda  y deben  ser  interpretadas  y aplicadas  en  cada  momento  en 
funcion  de  las  circunstancias. 

3 En  la  Memoria  para  la  oposicion  de  la  plaza  de  profesor  agregado  en  la  Universidad  de  Santiago  de 
Compostela,  en  1980. 
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«1  AB  se  verified  (siempre) 

2 En  las  ocasiones  Ti ...  T„ , AB  se  verified. 

3 En  las  ocasiones  Ti ...  T„ , en  las  condiciones  Ci  ...  Ck , AB  se  verified. 

4 En  las  ocasiones  Ti  ...  T,„  en  las  condiciones  Ci...Ck , para  los  individuos  Pi  ...  Pi„ 

AB  se  verifica. 

5 AB  se  verifica  en  p % de  las  condiciones  (lo  que  seria  la  afirmacion  1 con  la  adicion 
de  una  condicion  de  probabilidad). 

6 En  las  ocasiones  Ti  ...  T„ , en  las  condiciones  Ci ...  Ck , para  los  individuos  Pi ...  Pi, 
AB  se  verifica  en  elp%  de  casos. 

Siendo  AB  la  relacion  entre  las  variables  Ay  B,  resulta  que  la  situacion  6 es  la  forma 
mas  debil  de  generalizacidn». 


Sin  embargo,  aun  esta  «forma  debil»  de  generalizacion  no  deja  de  ser  un  conoci- 
miento  util  para  los  educadores  y,  desde  luego,  adaptado  a las  caracteristicas  del 
campo  objeto  de  estudio,  donde  la  diversidad  de  los  seres  humanos,  y hasta  su  irrepe- 
tibilidad,  deben  siempre  ser  tomadas  en  consideracion. 

1 .3.  La  educacion  como  tecnologia 

Tampoco  es  una  option  descartable  la  consideracion  del  estudio  de  la  Educacion 
como  una  tecnologia.  No  olvidemos  que  segun  Bunge4,  la  tecnologia  nace  de  aplicar  la 
investigacion  a mejorar  las  condiciones  de  vida  del  ser  humano: 

«La  ciencia  como  actividad  —como  investigacion—  pertenece  a la  vida  social; 
en  cuanto  se  aplica  al  mejoramiento  de  nuestro  medio  natural  y artificial,  a la 
invencion  y manufactura  de  bienes  materiales  y culturales,  la  ciencia  se  convierte 
en  tecnologia.  Sin  embargo,  la  ciencia  se  nos  aparece  como  la  mas  deslumbrante  y 
asombrosa  de  las  estrellas  de  la  cultura  cuando  la  consideramos  como  un  bien  en  si 
mismo,  esto  es,  como  un  sistema  de  ideas  establecidas  provisionalmente  (conoci- 
miento  cientifico)  y como  una  actividad  productora  de  ideas  (investigacion  cienti- 

fica)». 


Parece  evidente  que  en  el  marco  de  la  educacion  hay  mucho  objeto  especialmente 
apto  y adecuado  para  un  saber  tecnoldgico:  todo  aquello  que  tiene  que  ver  con  la  plani- 
ficacion,  la  programacion,  el  diseno  de  cursos,  de  recursos,  de  materiales,  de  progra- 
mas  — se  destinen  al  logro  de  saberes,  a la  capacitacion  en  destrezas  y estrategias  o a la 
creacion,  desarrollo  y mantenimiento  de  valores — > la  organizacion  escolar,  los  siste- 
mas  de  evaluacion...  entran  de  lleno  en  es  apartado. 


4 Bunge,  M.  (1981).  La  ciencia:  su  metodo  y su  filosofta.  Buenos  Aires:  Ediciones  Siglo  Veinte,  p.  9. 
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La  investigation,  y la  evaluation,  se  convierten  aquf  en  instrumentos  de  enorme 
importancia  para  su  mejora  tanto  en  la  fase  de  diseno  como  de  implementation, 
desarrollo  y resultados. 

1 .4.  La  education:  un  campo  heterogeneo  y multidisciplinar 

Las  anteriores  consideraciones,  sobre  cuya  «correccion»  no  es  facil  decidir  dada  su 
indemostrabilidad,  si  nos  llevan,  al  menos  a juicio  de  quien  esto  escribe,  a una  impor- 
tante  conclusion:  la  education,  una  realidad  compleja  y diversa  donde  las  haya,  puede 
ser  considerada  desde  perspectivas  muy  diferentes,  probablemente  todas  ellas  validas 
y necesarias.  En  cada  caso,  eso  si,  el  estudioso  debera  saber  en  que  piano  se  situa  y 
actuar  de  modo  coherente. 

Pero  hay  una  segunda  e importante  cuestion:  ^es  la  Educacion  un  objeto  disciplinar 
homogeneo?  Probablemente  muchas  de  las  disputas  metodologicas  podrfan  desapare- 
cer  o,  al  menos,  atenuarse  sensiblemente,  si  se  llegara  a una  respuesta  negativa,  esto 
es,  a distinguir  entre  el  estudio  cientifico  de  la  Educacion,  centrado  en  la  Pedagogia,  y 
las  diversas  Ciencias  de  la  Educacion,  encargadas  de  abordar  objetos  relacionados  con 
y necesarios  para  una  educacion  de  calidad.  Es  mas,  que  dentro  de  la  propia  Pedago- 
gia como  ciencia  de  la  Educacion  cabe  hablar  de  «objetos»  susceptibles  de  ser  aborda- 
dos  multi  o pluridisciplinarmente,  lo  que  exigiria  que,  para  alcanzar  un  acercamiento 
minimo  y suficiente  a tan  compleja  realidad,  se  acudiera  a unos  planteamientos  meto- 
dologicos  acordes  con  la  complejidad  y diversidad  de  su  objeto. 

Nuestra  position  en  este  punto  se  concreta  en  una  respuesta  negativa  a la  pregunta  y, 
en  consecuencia,  en  la  aceptacion  de  la  necesidad  de  evitar  cualquier  manifestation 
reductiva  en  lo  concemiente  a la  metodologia  cuando  de  elaborar  conocimiento  se  trate. 

Las  dos  cuestiones  anteriores  nos  conducen  a una  misma  respuesta  en  terminos  de 
metodologia:  cualquier  propuesta  metodologica  que  se  autolimite  a una  unica  metodo- 
logia, ademas  de  estar  abocada  al  fracaso  por  inadecuada  a la  realidad  objeto  de  estudio, 
no  ofrecera  los  frutos  apetecibles  al  dejar  fuera  de  su  foco  de  atencion  aspectos  relevan- 
tes  de  esa  compleja  realidad.  Lo  mejor  es  aplicar  el  principio  de  complementariedad  metodo- 
logica, que  va  incluso  mas  alia  de  la  proposition  de  Cook5  conotida  como  multiplismo6.  El 
principio  de  complementariedad  reconoce  que  ante  realidades  complejas,  el  mejor  acer- 
camiento no  reside  en  la  election  de  una  entre  varias  opciones,  ni  siquiera  en  elegir  la 
mejor,  sino  en  abordarlas  desde  enfoques  metodologicos  complementarios7,  siempre 
que  lo  permita  la  formation  de  los  estudiosos,  el  tiempo  y los  recursos  disponibles. 


5 Cook,  T.D.  (1985).  Postpositivist  Critical  Multiplism.  En  L.  Shotland  y M.M.  Marck  (Edits).  Social 
Science  and  Social  Policy.  Beverly  Hills:  Sage  Pub. 

6 En  efecto,  mientras  el  multiplismo  se  inscribe  en  la  busqueda  de  salidas  a las  limitaciones  del  positi- 
vismo,  el  principio  de  complementariedad  metodologica  es  capaz  de  dar  cabida,  en  simultaneo  o sucesivo,  a 
los  metodos  cualitativos  y cuantitativos,  ademas  de  a los  historicos,  filosoficos  y comparativos. 

7 Podemos  encontrar  una  concretion  del  principio  de  complementariedad  metodologica  en  el  discurso  de 
ingreso  del  profesor  Garcia  Hoz  en  la  Real  Academia  de  Ciencias  Morales  y Politicas.  Alii  reconoce  la  rique- 
za  que  representa  conocer  la  evolution  (historia)  de  un  fenomeno,  sus  aspectos  cuantitativos  y cualitativos, 
su  situation  en  relacion  con  la  de  otros  contextos  (sean  otros  sistemas  educativos,  otros  paises...). 
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1.5.  La  evaluacion  de  programas  y la  mejora  de  la  actuacion  pedagogica 

La  evaluacion  de  programas  es  una  actividad  metodologica  que  admite,  al  menos  a 
los  efectos  expositivos,  dos  polos  separados  por  un  continuo  de  actuacion:  la  accion 
reflexiva,  ordinaria,  de  cada  profesor  o educador  sobre  su  programa,  entendido  como 
plan  al  servicio  del  logro  de  sus  metas  educativas,  y aquella  otra  llevada  a cabo  por 
expertos  mediante  la  aplicacion  rigurosa  de  metodologfas  de  diferente  naturaleza 
y alcance,  destinada  a la  evaluacion  de  proyectos  y programas  de  intervention  social 
— en  educacion,  formation,  salud,  ocio,  empleo... — de  gran  amplitud,  complejidad  y 
duration. 

En  el  campo  pedagogico,  caracterizado  por  un  afan  cientifista,  los  profesores  uni- 
versitarios  nos  hemos  ocupado  muy  poco  de  la  creacion  en  el  profesorado  de  una 
autentica  cultura  evaluativa  sobre  sus  programas,  los  que  podriamos  denominar  pro- 
gramas ordinarios,  a pesar  de  que  es  en  la  aulas,  en  cada  una  de  ellas,  donde  se  da  en 
mayor  grado  y con  superior  intensidad  la  accion  educativa,  el  hecho  educativo. 

Crear  una  autentica  cultura  evaluativa  tendrfa  unos  frutos  espectaculares;  tal  cultura 
supone  la  existencia  de  aptitud  y de  actitud  positiva,  a lo  que  se  uniria  el  conocimien- 
to,  la  informacion  relevante  para  la  mejora  que  ofrece  la  evaluacion.  Al  caer  en  tierra 
bien  abonada  por  la  actitud  favorable,  una  informacion  de  tal  naturaleza  darfa  sus 
mejores  frutos  en  el  compromiso  con  las  decisiones  de  mejora  de  los  planes,  proyectos, 
procesos  y resultados. 

Tal  vez  serfa  esta  la  mayor  aportacion  a la  mejora  de  la  Educacion;  sin  embargo,  y 
en  el  marco  del  hacer  cientffico,  un  adecuado  estudio  de  las  actuaciones  de  los  profeso- 
res podrfa  ser  organizado,  sistematizado  y tratado  desde  una  perspectiva  cercana  a la 
replication8,  dando  lugar  al  establecimiento  de  enunciados  y conclusiones  de  cierto 
nivel  de  generalidad. 

La  evaluacion  de  programas,  pues,  puede  servir  a esos  dos  grandes  objetivos:  la 
mejora  de  la  calidad  de  la  accion  educativa  dentro  de  cada  aula  y de  cada  centra,  y la 
creacion  de  teorfa,  aunque,  por  prudencia  y rigor,  demos  aquf  a tal  expresion  un  nivel 
atenuado. 

1 .6.  La  evaluacion  de  programas  como  investigation  evaluativa 

Pero  la  evaluacion  de  programas  es  una  actividad  nacida  en  otro  contexto  y orien- 
tada  hacia  otro  tipo  de  objetivos;  fundamentalmente  nos  situamos  ante  una  evaluacion 
externa  de  programas  educativos,  realizada  por  una  sola  vez,  desde  el  exterior,  por 
expertos,  en  ocasiones  de  diversos  ambitos  — disciplinares,  metodologicos,  sociales — 
respondiendo  a lo  que  conocemos  como  investigacion  evaluativa.  A ella  se  han  dedicado 
las  mejores  de  nuestras  fuerzas  ya  que  se  trata  de  una  actividad  lucida  y recompensa- 
da  en  terminos  profesionales  y,  en  ocasiones,  economicos. 


8 Vid.  al  respecto  los  planteamientos  de  M.  Sidman  sobre  replication  directa  y sistematica  en  Tdctica 
de  la  investigacion  cientifica,  Barcelona:  Editorial  Fontanella,  1978. 
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Sin  embargo,  son  muchos  los  que  dudan  de  su  valor  practico,  de  su  utilidad,  aun- 
que  sea  forzoso  reconocer  que  los  grandes  programas  institucionales,  al  igual  que  las 
innovaciones  de  cualquier  tipo,  suelen  llevar  unida  como  una  realidad  socialmente 
exigida,  una  evaluation  de  programas,  destinada  por  lo  general  a rendir  cuentas,  a ganar 
apoyo  publico  (Nevo:  1986)  y,  al  menos  teoricamente,  a la  mejora  del  programa  a tra- 
ves  de  la  toma  y aplicacion  de  las  adecuadas  decisiones  de  mejora9. 

Lo  que  se  debe  pedir  a estas  evaluaciones  es  que  se  realicen  con  el  rigor  propio  de 
toda  investigation  evaluativa,  siguiendo  hasta  donde  sea  posible  y la  naturaleza  de  la 
situation  lo  aconseje  y lo  permita,  los  estandares  propuestos  por  el  Joint  Committee10 
y,  de  modo  concreto,  en  el  ambito  de  la  metodologia,  aplicando  el  principio  de  comple- 
mentariedad  metodologica  con  la  mayor  riqueza  posible. 

Vale  la  pena  senalar,  por  ultimo,  que  en  este  ambito  los  pedagogos  estamos  afron- 
tando  evaluaciones  que  no  siempre  se  relacionan  en  sentido  pleno  con  la  educacion  y 
que,  en  consecuencia,  muchas  de  las  reflexiones  anteriores  — y de  las  que  siguen — 
solo  les  seran  de  aplicacion  de  forma  limitada.  La  ampliacion  de  nuestro  campo  tanto 
de  intervention  como  de  su  evaluacion  puede  responder  a causas  diversas,  no  siempre 
concordantes  pero  si  perfectamente  explicables  y muchas  defendibles  y asumibles. 
Entre  estas  conviene  destacar,  y apoyar: 

a)  Aquellas  que  derivan  del  reconocimiento  profesional  de  personas  que  trabajan 
en  el  ambito  educativo  en  general  y pedagogico  en  particular,  que  les  hace  ser 
llamados  para  que  desempenen,  con  el  rigor  y la  profesionalidad  acreditados,  la 
actividad  evaluativa  de  programas  no  estrictamente  educativos  ni  pedagogicos. 

b)  La  ampliacion  del  campo  de  actuation  de  los  pedagogos  desde  el  estrictamente 
educativo  al  mas  amplio  de  la  formation,  de  gran  porvenir  e interes  en  el  marco 
de  la  education  permanente. 

Entre  las  demas,  es  preciso  tomar  conciencia  de  que,  en  ocasiones,  los  profesiona- 
les  de  la  educacion  abordamos  ambitos  mas  o menos  relacionados  con  el  nuestro 
como  consecuencia,  tal  vez  en  simultaneo  pero  a veces  como  fenomenos  indepen- 
dientes,  de,  por  un  lado,  nuestra  falta  de  capacidad  — o de  interes — para  desarrollar 
lo  que  debe  ser  nuestro  campo  de  atencion  preferente  y,  por  otro,  del  empuje  de  pro- 
fesionales  de  ambitos  cercanos  que  se  hacen  cargo  de  parcelas  teoricamente  propias 
de  los  pedagogos,  ya  sea  por  nuestro  abandono,  ya  porque  nuestras  aportaciones  no 
alcanzan  la  calidad  y los  resultados  que  se  esperaban,  ya  por  la  indefinicion  de  los 


9 Forzoso  es  reconocer  que,  con  frecuencia,  y dados  los  evidentes  condicionamientos,  estas  evaluacio- 
nes pueden  caer  en  lo  que  Stufflebeam  y Shinkfield  denominan  cuasievaluaciones,  a las  que  tratan  con  una 
enorme  dureza  al  afirmar  de  quienes  las  practican  que  «utilizan  la  evaluacion  de  una  forma  inadecuada 
para  lograr  sus  objetivos»,  senalando  a continuacion  lo  siguiente: 

«Puede  que  recopilen  la  informacion  rigurosamente,  pero  no  revelan  las  verdaderas  conclusiones,  o lo  hacen  de  un 
modo  selectivo,  o incluso  las  falsifican,  engahando  tanto  a la  gente  como  a si  mismos»  (pags.  67  y 68).  Vid.  Stufflebe- 
am, D.L.  y Shinkfield,  A.J.  (1987).  Evaluacion  sistematica.  Guia  tedrica  y prdctica,  Barcelona:  Paidos-MEC. 

10  JOINT  COMMITTEE  ON  STANDARDS  FOR  EDUCATIONAL  EVALUATION  (1994).  The  Program 
Evaluation  Standards,  Sage. 
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respectivos  ambitos  de  actuation,  por  no  senalar  sino  algunas  de  las  posibles  explica- 
ciones. 

Dejemos  constancia  aqui  de  que  las  reflexiones  y propuestas  que  siguen  quieren 
centrarse  en  ambitos  estrictamente  educativos,  no  por  desden  o menosprecio  de  los 
demas  sino  por  considerarlos  como  el  campo  prioritario  de  los  profesionales  de  la 
Pedagogfa. 

2.  CONCEPTOS  BASICOS 

Senalabamos  mas  arriba  que  el  acto  educativo  tiene  mucho  de  relation  artistica  entre 
el  educando  y el  educador,  que  trata  de  aplicar,  con  la  debida  prudencia  y adecua- 
cion11,  los  conocimientos  cientfficos,  las  reglas  tecnicas  y la  propia  experiencia  al  aquf  y 
ahora  de  tal  relation. 

Sin  embargo,  el  que  cada  acto  educativo  tenga  o pueda  tener  ese  caracter  cuasi 
artfstico  no  es  obice  para  que  sea  conveniente,  e incluso  necesaria,  una  action  reflexi- 
va  y meditada  en  la  que  el  educador  planifica  su  action  educativa  para  el  alumno  o 
el  grupo,  fijando  objetivos,  seleccionando  medios,  disenando  las  condiciones  ade- 
cuadas  y estableciendo  criterios  y pautas  de  valoracion12.  A tal  actividad  suele  darse- 
le  el  nombre  de  programacion  y el  de  programa  a un  concepto  de  muy  amplio 
espectro,  pero  que,  en  el  campo  educativo,  no  es  sino  un  plan  de  action,  por  tanto  una 
actuation  planificada,  organizada  y sistemdtica,  al  servicio  de  metas  educativas  valio- 
sas. 

A los  efectos  de  la  evaluation  de  programas  conviene  clarificar  los  conceptos  fun- 
damentals, destacando  entre  ellos  los  de  programa,  evaluation  y evaluation  de  progra- 
mas, a los  que  nos  referiremos  a continuation. 

2.1.  Programa 

Como  hemos  senalado,  en  el  campo  pedagogico  la  palabra  programa  se  utiliza  para 
referirse  a un  plan  sistemdtico  disenado  por  el  educador  como  medio  al  servicio  de  las 
metas  educativas.  Tanto  a los  efectos  de  su  elaboration  como  de  su  posterior  evalua- 
tion — dos  procesos  que  deberian  guardar  armorna  y coherencia — deben  tomarse  en 
consideration  algunas  importantes  cuestiones: 


11  No  olvidemos  que  la  education  personalizada  tiene  uno  de  sus  principios  basicos  en  la  adecuacion  de 
la  intervention  educadora  a la  diversidad  de  los  educandos,  a sus  caracteristicas  espedficas,  a su  individua- 
lidad  — concepto  preferido  por  Allport — tanto  en  sus  aptitudes  como  en  las  diferentes  dimensiones  de  su 
personalidad  — desde  sus  intereses  y motivaciones  a su  modo  de  ser — y en  su  capacidad  para  abordar  los 
diferentes  tipos  de  aprendizaje. 

12  La  tarea  espetifica  del  educador  consiste  en  facilitar  el  exito  de  sus  alumnos  ayudandoles  a alcanzar 
los  objetivos  planificados.  De  todos  es  conocido  el  planteamiento  de  Bloom  cuando  diferencia  entre  estruc- 
tura  de  la  disciplina  y la  estructura  del  proceso  de  aprendizaje,  «que  debe  permitir  al  estudiante  pasar  con  exito 
de  unafase  de  aqui 7 a otra»,  concluyendo  que  «la  estructura  de  la  ensenanza  y el  aprendizaje  deben  basarse  en  consi- 
derations pedagogicas  y no  tienen  por  que  reflejar  el  punto  de  vista  del  especialista  sobre  su  campo  de  estudio» 
(Bloom:  1981,  p.  30). 
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a)  Todo  programa  debe  contar  con  unas  metas  y objetivos  que,  obviamente,  han  de 
ser  educativos.  Esta  afirmacion  parece  una  obviedad,  pero  no  son  pocas  las  oca- 
siones  en  que  la  evaluation  de  programas  se  «olvida»  de  plantearse  esta  tan 
importante  como  basica  cuestion. 

b)  Metas  y objetivos  deben  estar  acomodados  a las  caracterxsticas  de  los  destinata- 
rios  en  su  contexto  de  referencia  y ser  asumidos  como  propios  por  los  agentes 
del  programa. 

c)  Tanto  a la  hora  de  su  implantation  como  de  su  evaluation,  en  este  caso  en  cuan- 
to  variable  independiente,  el  programa  ha  de  estar  claramente  especificado  y deta- 
llado  en  todos  sus  elementos  fundamentales:  destinatarios,  agentes, 
actividades,  decisiones,  estrategias,  procesos,  funciones  y responsabilidades  del 
personal,  tiempos,  manifestaciones  esperables,  niveles  de  logro  considerados  a 
priori  como  satisfactorios  ...  De  no  ser  asi  adolecera  de  limitaciones  en  uno  de  los 
criterios  para  su  posterior  evaluation:  la  evaluabilidad. 

d)  Ha  de  incorporar  un  conjunto  de  medios  y recursos  que,  ademas  de  ser  educativos, 
deben  ser  considerados  como  suficientes,  adecuados  y eficaces  para  el  logro  de 
metas  y objetivos. 

e)  Necesita  de  un  sistema  capaz  de  apreciar  tanto  si  metas  y objetivos  se  logran 
como  de  poner  de  relieve,  en  caso  de  que  asi  no  sea,  o de  que  lo  sea  a niveles 
insuficientes  o insatisfactorios,  donde  se  producen  las  disfunciones  y carencias 
y,  a ser  posible,  las  causas  de  las  mismas  (objetivos  muy  elevados,  aplicacion 
inadecuada  de  los  medios,  ambiente  incoherente,  relaciones  humanas  insatis- 
factorias,  tiempos  insuficientes,  rigidez  en  las  actuaciones,  momentos  inadecua- 
dos,  efectos  no  planeados...). 

Obviamente,  tal  sistema  no  es  otro  que  el  de  la  evaluacion,  que  debe  formar  parte  de  los 
medios  — evaluacion  en  el  programa — pero  que  ha  de  permitir  su  propia  mejora  — eva- 
luation del  programa,  como  un  componente  fundamental  de  su  mejora  continua — ademas 
de  constituirse,  por  su  propio  potential,  en  una  actividad  de  mejora  profesional13. 

2.2.  Evaluacion 

Aunque  es  dificil  ofrecer  una  definition  que  cuente  con  suficiente  consenso  y res- 
paldo,  a los  efectos  de  este  documento  el  autor  la  entiende  como 

«...la  valoracion,  a partir  de  criterios  y referencias  preespecificados,  de  la  informa- 
cion  tecnicamente  disenada  y sistemdticamente  recogida  y organizada,  sobre  cuantos 
factores  relevantes  integran  los  procesos  educativos  para  facilitar  la  toma  de  decisio- 
nes de  mejora»u 


13  Vease  al  respecto  la  aportacion  de  Hopkins  (Hopkins,  D.  (1989):  Evaluation  for  School  Development. 
Milton  Keynes,  Open  University  Press)  cuando  distingue  entre  la  evaluacion  para  la  mejora,  la  evaluacion 
de  la  mejora  y la  evaluacion  como  mejora. 

14  Vid.  al  respecto  Perez  Juste,  R.  (1995):  Evaluacion  de  programas  educativos,  en  A.  Medina  Rivilla  y 
L.M.  Villar  Angulo  (Edits).  Evaluation  de  Programas  Educativos,  Centros  y Profesores.  Madrid:  Universitas,  73-106. 
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Cuatro  son,  por  tanto,  los  componentes  fundamentals  de  la  evaluacion: 

a)  Los  contenidos  a evaluar : «cuantos  factores  relevantes  integran  los  procesos  edu- 
cativos».  Nuestra  posicion  se  concreta  en  una  evaluacion  integral  capaz  de 
armonizar  la  evaluacion  de  la  ensenanza  y la  del  aprendizaje,  del  alumnado  y 
del  profesorado,  del  programa  y de  la  institucion  o centro  educativo15. 

b)  La  informacion  a recoger:  dado  su  caracter  tecnico  debe  ser  «tecnicamente  disena- 
da  y sistematicamente  recogida  y organizada».  La  informacion  es  la  base  de  la 
evaluacion,  por  lo  que  esta  nunca  sera  mejor  que  aquella.  En  consecuencia,  se 
debera  acudir  a cuantas  fuentes,  tecnicas  e instrumentos  sea  preciso  para  captar 
de  modo  suficiente  y adecuado  cuantos  objetos  evaluativos  se  haya  decidido 
evaluar,  evitando  toda  tentacion  de  sesgo  o de  insuficiencia. 

Este  punto  debe  cuidarse  con  esmero  si  no  se  quiere  caer  en  un  riesgo  especial- 
mente  peligroso:  el  de  que  la  informacion  recogida,  por  si  misma  o por  las  tecni- 
cas e instrumentos  utilizados,  pueda  llegar  a desvirtuar  los  objetivos 
educativos,  que,  sin  duda,  deben  ser  los  elementos  rectores  tanto  del  proceso 
educativo  como  del  propiamente  evaluador. 

Por  ultimo,  la  informacion  debera  ser  organizada  de  forma  que  sirva  eficazmen- 
te  a los  propositos  de  la  evaluacion,  sin  llegar  a convertirse,  como  a veces  ocurre, 
en  una  fase  cuasi  independiente  de  la  misma,  bien  por  el  exceso  en  su  tratamien- 
to  bien  por  su  planteamiento  al  margen  de  los  objetivos  a los  que  sirve. 

c)  La  valoracion  de  la  informacion,  donde  distinguimos  los  criterios,  aplicados  a las 
diversas  unidades  de  informacion,  y las  referencias,  utilizadas  para  emitir  juicios 
globales  de  evaluacion,  en  nuestro  caso  sobre  el  programa.  Criterios  pueden  ser 
los  de  exactitud,  precision,  claridad,  profundidad,  variedad...  En  cuanto  a las  referen- 
cias, las  tres  fundamentals  son  las  conocidas  como  normativa  (baremo),  criterial 
y personalizada  o idiosincrdsica. 

Vale  la  pena  insistir  de  nuevo:  los  criterios  deben  derivar,  de  modo  coherente  y 
armonico,  de  los  objetivos  educativos  a los  que  sirve  el  programa;  los  riesgos 
derivados  de  no  cumplirse  tal  exigencia  no  son  otros  que  los  ya  apuntados  en  el 
apartado  anterior,  esto  es,  la  desvirtuacion  de  sus  objetivos.  Algo  similar  debe 
afirmarse  de  las  referencias,  que  deben  ser  seleccionadas  en  funcion  de  los  obje- 
tivos y de  las  finalidades  a las  que  sirve  la  evaluacion16. 


15  No  estaria  de  mas  poder  afirmar  lo  mismo  de  la  evaluacion  del  sistema  educativo,  pero  es  preciso 
reconocer  que  aquf  estan  implicadas  dimensiones  no  estrictamente  pedagogicas  o educativas,  como  son  las 
de  tipo  politico,  social  o economico,  por  no  resenar  sino  las  mas  importantes. 

16  No  parece  dificil  mantener  la  superioridad  de  una  evaluacion  de  referencia  personalizada  cuando  de 
lo  que  se  trata  es  de  apreciar  el  progreso  educativo  de  los  educandos  en  pos  de  su  formation  personal;  o de  la 
criterial  cuando,  ademas  de  lo  anterior,  entran  en  juego  las  expectativas  y demandas  sociales  junto  a las  exi- 
gences de  la  disciplina  objeto  de  ensenanza  y aprendizaje,  algo  especialmente  importante  en  niveles  educa- 
tivos no  obligatorios;  o la  normativa,  cuando  sea  preciso  situar  los  resultados  de  un  alumno  en  relacion  con 
los  de  companeros  del  propio  o de  otros  centros  educativos,  o los  de  un  centro  — incluso  de  un  sistema  edu- 
cativo— en  relacion  con  los  de  otros,  sea  para  situarse  en  un  contexto  en  que  es  preciso  competir  — becas, 
selection  de  personal... — sea  para  orientar  decisiones  de  di versa  indole,  como  ocurre  en  el  caso  de  los  indi- 
cadores  y estandares  nacionales  o intemacionales... 
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d)  La  finalidad:  «facilitar  la  toma  de  decisiones  de  mejora».  Caben  otras  finalidades 
o funciones17,  pero,  desde  una  perspectiva  estrictamente  educativa,  la  mas  cohe- 
rente  es  la  formativa  o para  la  mejora,  sea  del  alumno  y su  aprendizaje,  sea  del 
profesor  y su  actividad  educativa,  sea  del  centro  educativo  como  unidad. 

Debemos  hacer  notar  que  el  caracter  de  herramienta  al  servicio  de  los  objetivos 
educativos  que  atribuimos  a la  evaluacion  exige  de  esta  que  sea  sea  continua  y forma- 
tiva, razon  por  la  que,  en  un  primer  ciclo  o bucle,  debera  sobrepasar  la  clasica  etapa 
final  para  alcanzar  a los  procesos  e incluso  el  diseno  y la  calidad  misma  del  programa; 
pero,  en  realidad,  nuestra  conception  nos  conduce  a su  institutionalization,  con  lo 
que,  en  ciclos  o bucles  evaluativos  posteriores,  se  da  un  enlace  y entrelazamiento  entre 
la  evaluacion  final  de  un  ciclo  y la  inicial  del  siguiente,  lo  que  permite  extraer  el  maxi- 
mo  potencial  de  mejora  a esta  funcion  educativa. 

Por  ultimo,  pero  tal  vez  como  lo  mas  importante  en  tanto  que  representa  una 
cuestion  de  principio,  deseo  resaltar  tres  caracterfsticas,  derivadas  de  todo  lo  ante- 
rior a la  par  que  su  fundamento  y soporte,  que  dan  a la  evaluacion  un  especial  alcan- 
ce:  su  caracter  integral,  integrado  e integrador. 

La  dimension  o nota  de  integral  nos  hace  ver  la  necesidad  de  que  la  evaluacion, 
ademas  de  abarcar  la  realidad  educativa  toda,  lo  haga  de  modo  armonico,  al  servi- 
cio de  una  gran  meta  comun:  la  mejora  de  la  persona,  bien  por  su  contribution 
directa  a tal  objetivo  bien  por  la  incidencia  que  la  mejora  de  los  centros,  de  los  pro- 
gramas o del  propio  profesorado  tengan  sobre  aquella;  la  nota  de  integrada  es  una 
consecuencia  de  la  anterior:  la  evaluacion  es  un  elemento  mas,  junto  al  resto  y,  por 
ello,  en  necesaria  armoma  con  todos  ellos,  al  servicio  de  esa  finalidad,  no  debiendo 
quedar  relegada  a una  actividad  anadida,  extrfnseca  y meramente  yuxtapuesta;  por 
ultimo,  el  caracter  integrador  da  a la  evaluacion  una  dimension  activa  y dinamica,  y 
no  meramente  pasiva,  en  esa  armonizacion  de  los  medios  al  servicio  de  la  finalidad 
de  la  education,  por  tanto  en  clara  contraposition  a planteamientos  que  puedan 
subvertir  el  orden,  haciendo  del  instrumento  — la  evaluacion — la  finalidad  a ser- 
vir18,  sea  por  una  reordenacion  de  los  medios  sea  por  el  tiempo  — excesivo — que 
requiera19. 

Obviamente,  caben,  y asf  son  la  mayorfa,  evaluaciones  parciales  — solo  los  apren- 
dizajes,  solo  los  programas,  solo  los  centros,  solo  los  materiales  de  aprendizaje... — 
pero,  en  tanto  que  sean  evaluaciones  pedagogicas,  deberfan  responder  a un  sistema 
integralmente  concebido  y organizado. 


17  Nevo  habla  de  la  sumativa,  la  sociopolttica  y la  administrativa. 

18  Piensese,  por  ejemplo,  lo  que  puede  ocurrir  cuando  de  los  resultados  de  una  evaluacion  no  centrada 
en  los  objetivos  educativos  puedan  seguirse  consecuencias  no  deseables  para  los  educandos,  para  los  profe- 
sores  o para  los  propios  centros  educativos  (selectividad,  promotion  del  profesorado,  evaluacion  de  centros 
y sus  consecuencias  de  caracter  economico  — financiacion — o social  — certification  y acreditacion  de  la  cali- 
dad)— . 

19  La  evaluation  no  puede  consumir  un  tiempo  que  deba  dedicarse  a la  action  educativa. 
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2.3.  Evaluacion  de  programas 

En  este  marco,  entendemos  la  evaluacion  de  programas  como 

. «un  proceso  sistematico,  disenado  intencional  y tecnicamente,  de  recogida  de 
information  rigurosa  —valiosa,  valida  y fiable—  orientado  a valorar  la  calidad  y los 
logros  de  un  programa,  como  base  para  la  posterior  toma  de  decisiones  de  mejora, 
tanto  del  programa  como  del  personal  implicado  y,  de  modo  indirecto,  del  cuerpo 
social  en  que  se  encuentra  inmerso»20 

A1  igual  que  en  el  caso  anterior,  debemos  clarificar  los  conceptos  incluidos  en  la 
definicion,  en  particular  aquellos  aspectos  que  representen  alguna  peculiaridad  res- 
pecto  de  lo  ya  dicho  en  el  punto  2.2.,  dedicado  a la  evaluacion  en  general. 

En  primer  lugar,  el  contenido  u objeto  de  evaluacion:  sabemos  que  nos  estamos  refi- 
riendo  a programas,  pero  de  todos  es  conocida  la  existencia  de  modelos  de  muy  diversa 
naturaleza  en  funcion  de  su  objeto  — algunos  centrados  solo  en  los  resultados  para  la 
constatacion  del  grado  de  eficacia — , de  su  alcance  — evaluaciones  por  una  sola  vez — o 
de  sus  funciones,  fundamentalmente  sumativas.  Nuestra  posicion  es  la  de  abarcar  el 
programa  tanto  en  su  calidad  — la  de  sus  propios  objetivos,  de  su  diseno,  de  sus  medios 
o del  propio  sistema  de  constatacion  de  sus  resultados — como  en  sus  logros  o resul- 
tados. 

La  finalidad  se  centra  decididamente  en  la  mejora,  en  perfecta  sintonia  con  la  esencia 
de  los  actos  educativos.  Precisamente  por  esa  orientation  a la  mejora  es  necesario 
hacer  objeto  de  evaluacion,  tambien,  los  propios  procesos  educativos  al  igual  que  el 
proceso  de  implantation  e implementation  del  programa.  Los  modelos  clasicos  cen- 
trados en  los  productos  unicamente  resultan  satisfactorios  cuando,  tras  su  aplicacion, 
se  constata  su  eficacia.  Pero,  en  caso  de  ineficacia,  o de  niveles  insatisfactorios,  se  reve- 
lan  incapaces  de  aportar  a los  educadores  la  informacion  necesaria  para  las  decisiones 
de  mejora.  En  resumidas  cuentas,  planteamos  una  evaluacion  de  programas  en  cuatro 
grandes  etapas  — a las  que  nos  referiremos  mas  adelante — , las  tres  primeras  impres- 
cindibles  en  una  primera  evaluacion,  y la  cuarta  para  hacer  realidad  la  integration  de 
la  evaluacion  como  una  realidad  asimilada  por  el  profesorado  o la  organization. 

En  cuanto  a la  information  ya  hemos  senalado  con  anterioridad  que  es  la  base  de  la 
evaluacion,  que  no  puede  ser  mejor  que  la  informacion  que  le  sirve  de  base.  Su  calidad 
de  rigurosa  hace  referencia  a una  caracterfstica  propia  de  todo  procedimiento  de  acceso 
cientffico  al  saber:  no  sirve  cualquier  tipo  de  informacion  sino  aquella  que  ha  sido 
recogida  mediante  instrumentos  o tecnicas  debidamente  construidos  y adecuadamen- 
te  contrastados  en  cuanto  a sus  caracteristicas  basicas  de  fiabilidad  y validez.  En  este 
caso,  anadimos  la  nota  de  valiosa  para  dar  a entender  la  necesidad  de  que  tal  informa- 
cion, ademas,  sea  util  para  facilitar  la  toma  de  decisiones  de  mejora.  Con  frecuencia,  la 
naturaleza  de  la  informacion  recogida  es  lo  suficientemente  generica  e inespecffica 


20  Vid.  al  respecto  Perez  Juste,  R.  (1995):  obra  citada,  p.  73. 
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como  para  que  las  decisiones  o no  sean  adecuadas  o,  en  realidad,  no  puedan  tener 
como  base  la  informacion  recogida,  lo  cual  haria  de  la  informacion  un  componente 
superflu  o21. 

En  cuanto  a la  valoracion  de  la  informacion,  daremos  por  dicho  lo  senalado  al  res- 
pecto  en  el  punto  anterior,  senalando,  eso  si,  la  importancia  que  cobra,  dentro  del  con- 
text en  el  que  el  programa  se  aplica,  el  Proyecto  educativo  y el  centro  educativo,  cuando 
de  programas  ordinarios  se  trate,  que,  obviamente,  deben  ser  coherentes  y encontrarse 
en  sintonia,  en  armoma,  con  ambos.  La  definition  y la  delimitation  de  tales  contextos, 
por  otro  lado,  resultan  basicas  a la  hora  de  establecer  tanto  los  niveles  de  generaliza- 
tion o,  si  se  prefiere,  de  aplicacion  de  los  resultados  a situaciones,  ambitos  o contextos 
diferentes  de  aquellos  en  que  se  aplico  el  programa,  como  de  valorar  su  propia  efica- 
cia22.  Por  identicas  razones,  en  el  caso  de  programas  nuevos,  diferentes  de  los  ordina- 
rios, sera  necesario  a tales  efectos,  definir  con  claridad  el  contexto  de  que  se  trate,  sea 
el  familiar,  el  amical,  el  social  o el  colegial. 

3.  PLANTEAMIENTOS  GENERALES:  COMPONENTES  BASICOS  DE  UNA 

PROPUESTA  PARA  LA  EVALUACION  DE  PROGRAMAS  EDUCATIVOS 

Dada  la  entidad  del  concepto  modelo,  tal  vez  sea  preferible  acudir  a uno  menos 
fuerte,  como  puede  ser  el  de  propuesta.  Para  elaborar  un  procedimiento  completo  de 
evaluacion  de  programas  es  preciso  tomar  en  consideration,  ademas  de  lo  anterior, 
algunos  elementos  con  repercusiones  metodologicas  de  diversa  naturaleza  y alcance,  y 
que,  dado  el  espacio  disponible,  nos  limitaremos  a enunciar: 

• Lo  educativo  como  referencia  constante.  Tanto  en  el  diseno  como  en  la  imple- 
mentation, desarrollo  y evaluacion  de  programas,  se  deben  tener  como  referen- 
cia: que  los  objetivos,  medios  y recursos  deben  ser  educativos  — no 
manipuladores — y adecuados;  que  el  programa  coexiste  con  otros  programas 
en  el  aula  y en  el  centro,  con  sus  correspondientes  posibles  interacciones;  que  el 
factor  humano,  — tanto  sus  agentes  como  sus  destinatarios,  agentes  tambien — es 
fundamental:  sin  su  decidida  implication  y colaboracion  no  hay  programa  efi- 
caz;  o que  el  contexto,  por  lo  general  orientado  por  «valores»  contrarios  o,  cuan- 
do menos,  indiferentes  a los  que  subyacen  en  el  programa  implantado  y 
evaluado,  juega  un  papel  condicionante  de  primer  orden. 


21  Un  ejemplo:  en  evaluaciones  sobre  el  sistema  a distancia  ha  sido  habitual  preguntar  a los  alumnos 
por  su  preferencia  por  textos  ordinarios  o esperificos  para  esta  modalidad  de  aprendizaje,  o solicitar  su 
valoracion  de  los  textos  utilizados  en  el  curso  anterior.  Piensese,  sin  embargo,  si  en  el  primer  caso  no  hubie- 
ra  sido  conveniente  matizar  las  respuestas  en  funcion  de  la  asignatura  de  que  se  trate,  de  la  carrera  o del 
ciclo  o curso  estudiados;  y en  el  segundo,  parece  imprescindible  acudir  a una  valoracion  de  cada  texto  ya  que 
una  valoracion  en  terminos  de  Media  o Mediana,  apenas  sirve  para  otra  cosa  que  para  quedarse  tranquilo  si 
es  muy  elevada  o preocupado  en  caso  contrario.  A esta  cuestion  nos  referimos  al  hablar  de  informacion 
valiosa. 

22  En  ocasiones,  un  buen  programa  puede  no  funcionar  adecuadamente  por  falta  de  adecuacion  al 
contexto  de  referencia. 
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• El  tamano  o amplitud  del  programa:  desde  los  reducidos  — un  fin  de  semana — 
a los  que  duran  uno  o varios  cursos,  con'  diferente  amplitud  y ambiciones,  lo 
que  puede  alterar  sensiblemente  la  metodologfa  a utilizar23. 

• La  complejidad  del  programa:  con  objetivos  de  muy  diversa  naturaleza24,  con 
las  correspondientes  implicaciones  para  su  formulation,  actuaciones  pedagogi- 
cas  y evaluation. 

• El  estatus  del  evaluador:  como  responsable,  simultaneamente,  del  programa  y 
su  evaluation,  lo  que  orienta  especialmente  hacia  enfoques  autoevaluativos  y 
continuos,  centrados  en  la  mejora,  o como  solo  evaluador,  mas  propio  de  eva- 
luaciones  externas,  de  expertos,  por  una  sola  vez,  de  caracter  sumativo,  que 
concluyen  en  un  informe  entregado  — previa  discusion  o no — a los  responsa- 
bles  del  programa  para  la  toma  de  las  decisiones  que  correspondan. 

• Las  unidades  de  analisis:  los  programas  educativos  tienen  su  destinatario  natu- 
ral en  las  personas  de  los  educandos.  Sin  embargo,  en  ocasiones  es  necesario, 
bien  sea  por  motivos  intrmsecos  bien  por  interes  de  los  responsables  del  progra- 
ma o de  su  evaluation,  tomar  en  consideration  otro  tipo  de  unidades,  como  el 
aula,  el  centro,  u conjunto  de  centros  (publicos,  privados,  de  education  infantil, 
de  una  comunidad  autonoma...). 

• La  relation  entre  el  programa  y su  evaluation:  la  evaluation  deberia  ser  un 
componente  necesario  de  cualquier  programa  entendido  en  forma  integral,  al 
menos  en  su  funcion  formativa,  pero,  con  frecuencia,  aparece  como  algo  yuxta- 
puesto  o sobrevenido.  El  hecho  de  que  la  evaluation  este  o no  integrada  en  el 
programa  condiciona  notablemente  la  metodologfa,  reduciendo  su  alcance  y 
limitando  sus  posibilidades  en  caso  negativo. 

• La  information  a recoger:  dada  la  complejidad  de  los  fenomenos  educativos, 
una  de  las  tareas  mas  delicadas  consiste  en  la  construction  de  lo  que  se  conside- 
ra  dato  a los  efectos  de  evaluation  del  programa. 

Vale  la  pena  exigir  una  plena  coherencia  entre  los  objetivos  del  programa,  los  de 
su  evaluation,  y los  datos  o la  information  recogida  para  decidir  sobre  el;  esto, 
obviamente,  no  implica  desprecio  hacia  el  otro  tipo  de  datos,  pero  nunca  estos 
pueden  sustituir  a aquellos,  sino  complementarlos.  Y es  que,  a pesar  de  la 
importancia  que  concedemos  a los  datos  duros,  dado  que  la  education  se  concre- 
ta  en  resultados  academicos  y,  sobre  todo,  en  determinados  comportamientos, 
no  se  debe  olvidar  que  las  percqjciones  de  agentes  y destinatarios  son  importan- 
tes  en  la  medida  en  que  pueden  condicionar  la  realidad  misma  del  programa. 
De  ahi  el  valor  de  formas  de  triangulacion  en  el  analisis  de  datos. 

Con  todo,  no  son  pocas  las  ocasiones  en  que  los  efectos  fundamentales  del  pro- 
grama son  diferidos,  por  lo  que  caben  evidencias  intermedias,  aunque  sean  reco- 


23  Esta  doble  dimension  de  tamano  y duration,  no  solo  es  una  cuestion  de  cantidad  sino  que,  incluso,  da 
lugar  a ciertas  exigencias  cualitativas  a la  hora  de  evaluarlo,  con  repercusiones  en  temas  como  la  necesidad 
o no  de  muestreo,  tanto  de  contenidos  como  de  informantes,  de  estar  abierto  a posibles  efectos  no  planeados  o 
de  cuidar  determinadas  interacciones. 

24  Piensese,  en  el  caso  de  nuestro  actual  sistema  educativo,  la  diferencia  que  representa  para  la  evalua- 
tion el  que  los  objetivos  sean  de  tipo  conceptual,  procedimental  o actitudinal,  o de  todos  ellos  a la  vez. 
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gidas  una  vez  finalizada  la  aplicacion  del  programa,  que  pueden  tomarse  como 
predictoras  de  efectos  posteriores  esperables.  Valdrfa  la  pena,  no  obstante,  dejar 
clara  constancia  de  ello  y no  abandonar  su  constatacion  posterior,  con  frecuencia 
olvidada  porque  ya  no  se  rentabilizarfa  polftica  o socialmente  el  esfuerzo. 

3. 1 . Componentes  de  la  propuesta 

Abordaremos  este  aspecto  desde  dos  enfoques  diferentes,  pero  complementarios: 
los  correspondientes  al  programa  y a su  evaluation. 

A)  En  relacion  con  el  programa: 

Los  elementos  a tomar  en  consideration  son: 

• El  programa  en  cuanto  tal  y,  por  tanto,  con  todos  sus  componentes:  sus  objetivos 
y metas  con  sus  correspondientes  contenidos;  sus  medios  y recursos  y su  eva- 
luation. 

• El  programa  en  su  proceso  de  implantation  y desarrollo. 

• El  programa  como  realidad  llevada  a cabo,  se  piense  o no  en  una  nueva  aplicacion. 

• El  programa  como  una  realidad  dinamica:  la  evaluation  debe  dar  lugar  a conse- 
cuencias,  que  pueden  ser  teoricas,  practicas,  metodologicas  y,  sobre  todo,  educa- 
tivas,  tanto  sobre  los  contenidos  educativos  como  sobre  el  propio  programa. 

B)  En  relacion  con  la  evaluation  del  programa: 

Desde  la  perspectiva  de  la  evaluation  del  programa,  sus  componentes  son: 

• La  funcion  o funciones  a las  que  sirve,  en  cuanto  condicionantes  del  resto  de  deci- 
siones. 

• La  metodologta  a utilizar,  concepto  amplio  en  el  que  caben  diversos  aspectos. 
Destacamos  entre  ellos  los  referentes  a la  calidad  tecnica  del  propio  diseno  de 
evaluation  del  programa;  al  diseno  o plan  general  de  la  evaluation:  preguntas  a 
las  que  responder,  objetivos  a lograr,  niveles  a alcanzar  (signification  estadfsti- 
ca,  signification  pedagogica);  metodos  a utilizar,  donde,  dadas  las  consideracio- 
nes  anteriores,  optamos  por  el  principio  de  complementariedad  metodoldgica,  bien 
en  forma  simultanea  bien  de  modo  sucesivo;  information  a recoger  en  torno  al 
contexto,  al  programa,  a su  implantation,  a su  aplicacion,  a sus  resultados  y a 
sus  consecuencias;  momentos  en  que  habra  de  ser  recogida  la  information;  tecni- 
cas  e instrumentos  que  habran  de  utilizarse;  sistema  de  registro  y los  procedi- 
mientos  de  analisis ; criterios  para  valorar  cada  una  de  las  dimensiones  del 
programa,  y referencias  que  permiten  una  apreciacion  global  del  mismo;  tipo  de 
decisiones  previsibles  y los  procedimientos  para  su  toma,  concretion,  seguimien- 
to  y evaluation. 

• El  informe:  su  formato,  elaboration,  debate,  difusion. 
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3.2.  Lineas  generates  de  la  propuesta  evaluativa 

La  concrecion  basica  de  todo  lo  anterior  puede  tomar  la  forma  de  la  siguiente  pro- 
puesta, estructurada  en  tomo  a los  cuatro  momentos  o etapas  arriba  citadas,  siendo  las 
tres  primeras  fundamentals  e imprescindibles  en  una  primera  evaluacion  de  un  pro- 
grama  educativo.  La  cuarta  representa  una  situation  deseable,  segun  la  cual  la  evalua- 
cion se.  institucionaliza  y se  integra  en  sucesivas  aplicaciones  del  programa. 


PRIMER  MOMENTO:  evaluacion  del  programa  en  cuanto  tal 

Se  trata  de  la  actividad  evaluativa  mas  importante  tanto  por  ser  la  primera  y base 
de  todas  las  demas  como  por  su  contenido  — abarca  el  programa  en  su  globalidad — y 
sobre  todo,  por  sus  grandes  aportaciones  a la  mejora  y optimizacion  del  programa 
incluso  antes  de  que  sea  puesto  en  marcha  (funcion  preventiva  de  la  evaluacion). 

Finalidad: 

Establecer  la  calidad  tecnica  del  programa,  su  viabilidad  practica  y su  evaluabilidad. 
Poner  en  marcha  el  programa  en  condiciones  optimas. 

Funcion: 

Formativa:  tomar  por  anticipado  las  decisiones  de  mejora  que  puedan  elevar  las 
potencialidades  del  programa. 

En  ocasiones  puede  ser  sumativa,  sea  sobre  el  programa  sea  sobre  su  evaluacion. 
Metodologta: 

Analisis  de  contenido  de  documentos,  estudios  prospectivos,  tecnica  Delphi 
Juicio  de  expertos  multidisciplinares:  metodologicos,  cientlficos,  tecnicos,  pedagogicos. 
Registros,  pruebas  diversas  de  evaluacion  inicial  (prerrequisitos) 

Information  a recoger: 

Sobre  el  programa:  su  fundamentacion,  su  formulation  y su  relacion  con  las  necesida- 
des,  carencias,  demandas  y expectativas  de  los  destinatarios. 

Criterios: 

Calidad , pertinencia25  y realismo  de  objetivos  y metas  y adecuacion  a los  destinatarios  y al 
contexto. 

Suficiencia  de  los  apoyos,  medios  y recursos  para  conseguir  los  objetivos,  en  particular 
sobre  la  formation,  implication  y compromiso  de  los  agentes  y demas  implicados. 

Calidad  tecnica  de  los  planteamientos  de  evaluacion. 


25  La  pertinencia  social  es  un  criterio  de  calidad  recogido  en  la  Conferencia  Mundial  sobre  Educacion 
Superior  (Paris,  octubre  de  1998)  en  el  documento  La  Educacion  Superior  en  el  Siglo  XXL  Vision  y Accion  (pag. 
25).  Alii  se  puede  leer:  «La  calidad  es  inseparable  de  la  pertinencia  social»,  desarrollandose  esta  idea  como  «una 
busqueda  de  soluciones  a las  necesidades  y problemas  de  la  sociedad  y mas  especialmente  a los  relacionados  con  la  cons- 
truccion  de  una  cultura  de  paz  y un  desarrollo  sostenible». 
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Calidad  tecnica  del  programa:  coherencia  con  las  bases  teoricas  y con  las  necesidades  a 
las  que  trata  de  responder;  congruencia  interna  entre  sus  componentes. 

Viabilidad  del  programa. 

Evaluabilidad:  relevancia,  suficiencia,  claridad  y accesibilidad  de  la  informacion  dispo- 
nible  sobre  el  programa  y de  la  necesaria  en  los  diversos  momentos  o etapas  de  su 
aplicacion  y evaluacion.  Analisis  de  las  dificultades  detectadas  y previsibles  para  eva- 
luar  el  programa 

Decisiones: 

Generalmente  formativas  (de  mejora  previa). 

En  casos  graves,  sumativas  (retirada  del  programa,  no  realizacion  de  la  evaluacion 
encargada  o asumida). 


SEGUNDO  MOMENTO:  evaluacion  del  proceso  de  implantacion  del  programa. 
Finalidad: 

Facilitar  la  toma  a tiempo  de  decisiones  de  mejora. 

Acumular  informacion  para  introducir  mejoras  en  futuras  ediciones  del  programa. 
Funcion: 

Formativa;  en  casos  extremos,  sumativa. 

Metodologia: 

Recogida  de  informacion:  observation,  dialogos,  entrevistas,  analisis  de  tareas,  prue- 
bas  formativas  intermedias... 

Analisis  de  la  informacion:  sesiones  de  grupo,  debates... 

Informacion  a recoger: 

Sobre  el  desarrollo  del  programa,  sobre  resultados  intermedios,  sobre  efectos  no  pla- 
neados. 

Criterios: 

Cumplimiento:  desfases,  desajustes,  flexibilidad;  coherencia  institucional;  eficacia  parcial; 
satisfaccion  de  los  implicados:  agentes,  colaboradores,  destinatarios 

Decisiones: 

Ajustes  parciales.  En  casos  extremos,  suspension  de  la  aplicacion  del  programa. 


TERCER  MOMENTO:  evaluacion  de  los  resultados  de  la  aplicacion  del  programa. 


Finalidad: 

Comprobar  la  eficacia  del  programa 
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Funcion: 

Fundamentalmente  sumativa.  Cuando  sea  posible,  sumativa  formativizada. 
Information  a recoger: 

Resultados  en  relation  con  los  objetivos.  Efectos  — positivos  o negativos — no  planeados. 
Criterios: 

Eficacia:  grado  de  logro  de  los  objetivos  propuestos.  Eficiencia:  resultados  en  relation 
con  los  medios  disponibles  y las  circunstancias  en  que  el  programa  se  aplica. 
Efectividad:  efectos  beneficiosos  no  previstos.  Satisfaction  de  destinatarios,  agentes  y 
otro  personal  interesado  / afectado.  Impacto  del  programa  en  el  contexto  en  que  se 
aplica. 

Referencias: 

Situation  de  partida:  el  programa  frente  a si  mismo  (progreso). 

Niveles  preespecificados  (evaluation  criterial)  (logro  del  dominio). 

Niveles  de  otros  programas  (superioridad). 

Decisiones: 

Sumativas:  mantener  o suprimir  el  programa. 

Formativizadas:  mejorar  el  programa  para  una  nueva  edition. 


CUARTO  MOMENTO:  institucionalizacion  de  la  evaluation  del  programa. 


Ciclos  sucesivos  de  evaluation  / mejora  / evaluation  / mejora. 

En  este  momento  se  logra  la  plena  integration  del  programa  y de  su  evaluation,  lo 
que  viene  a redundar  en  la  mejora  tanto  del  programa  como  de  la  propia  metodologia 
de  la  evaluation,  asi  como  en  el  perfeccionamiento  profesional  de  los  educadores. 

4.  PROBLEMATICA 

Como  se  ha  podido  constatar,  la  evaluation  es  una  actividad  compleja,  en  la  que  se 
cruzan  elementos  de  muy  diversa  naturaleza,  lo  que  conduce  a soluciones  muy  dife- 
rentes  y,  en  ocasiones,  muy  alejadas  unas  de  otras. 

Con  todo,  la  aludida  complejidad  da  lugar  a una  serie  de  problemas  sin  resolver, 
sobre  los  que  habra  que  tomar  decisiones  en  cada  momento.  Resenamos  algunos  de 
los  fundamentales: 

4.1.  La  existencia  de  expertos 

Los  modelos  o propuestas  evaluativas  externas  tienen  como  base  la  consideration 
de  la  evaluation  como  una  actividad  tecnica,  necesitada  de  profesionales  expertos  que 
la  conduzcan  a buen  puerto. 
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Con  frecuencia,  el  diseno  mismo  de  la  evaluacion  lo  realizan  expertos,  y personas 
expertas  son  las  encargadas  de  recoger,  organizar  y elaborar  la  informacion  como  base 
para  la  configuration  de  un  juicio  tecnico  y hasta  para  la  propuesta  de  medidas  de 
mejora. 

El  problema  es  grave  en  ciertos  tipos  de  evaluaciones,  como  lo  pone  de  relieve  la 
situation  de  la  evaluacion  de  la  docencia  o de  la  investigacion  en  el  Plan  de  Evaluacion 
de  la  Calidad  de  las  Universidades,  donde  no  se  cuenta  ni  de  lejos  con  el  numero  de 
expertos  necesarios  para  llevar  a cabo  tal  labor.  Pero  las  consecuencias  de  una  evalua- 
cion externa,  propia  de  expertos,  llevada  a cabo  por  personas  con  una  formation  apre- 
surada,  concentrada  en  una  o dos  sesiones  de  fin  de  semana,  son  faciles  de  imaginar. 
De  por  si,  la  evaluacion  levanta  recelos  en  las  personas  e instituciones  evaluadas;  si  a 
ello  se  une  que  quienes  han  de  llevar  a cabo  la  tarea  no  son  reconocidos  por  los  evalua- 
dos  como  dotados  de  la  competencia  y de  la  experiencia  necesarias,  lo  mas  probable  es 
que  la  evaluacion  pierda  una  gran  parte  de  su  efectividad  y hasta  pueda  llegar  a ser  la 
gran  ocasion  perdida:  en  efecto,  cuando  los  resultados  de  una  evaluacion  defraudan  y 
son  insatisfactorios,  y ello  tras  un  largo  proceso  destinado  a crear  las  actitudes  positi- 
vas  tanto  para  aceptar  la  presencia  de  personas  ajenas  como  para  colaborar  activamen- 
te  en  las  tareas,  resulta  muy  dificil  intentarlo  de  nuevo. 

4.2.  La  factibilidad 

En  el  campo  de  la  evaluacion  se  corren  muchos  riesgos,  y uno  de  ellos  es  el  intento 
de  perfeccionismo.  Cuando  un  grupo  de  expertos  es  invitado  a proponer  modelos  eva- 
luativos,  lo  hace  mas  desde  la  perspectiva  de  sus  colegas  que  de  la  correspondiente  a 
las  personas  e instituciones  a las  que  se  aplicara  la  evaluacion. 

Este  hecho  suele  conducir  a propuestas  muy  elaboradas,  amplias,  profundas  y 
complejas,  cuya  aplicabilidad  es  muy  costosa  en  tiempo,  recursos  materiales  y dedica- 
tion del  personal. 

Nos  encontramos  ante  un  importante  reto:  el  de  conjugar  una  evaluacion  que 
merezca  la  pena  por  la  aportacion  de  informacion  que  pueda  representar,  y el  tiempo, 
los  recursos  y el  personal  necesarios  para  lograrlo.  La  investigacion  deberfa  orientarse 
a identificar  los  contenidos  mfnimos  necesarios  para  una  evaluacion  que  permita  ser 
valorada  como  suficiente,  dejando  fuera  todos  aquellos  otros  aspectos  que  podriamos 
denominar  superfluos.  Se  trata,  en  definitiva,  de  elaborar  propuestas  centradas  en  lo 
esencial,  suficientes  y factibles. 

Recuerdese  que  las  normas  del  Joint  Committee  se  estructuran  en  torno  a cuatro 
grandes  criterios,  siendo  el  de  factibilidad  o viabilidad  uno  de  ellos,  al  lado  de  los  de  utili- 
dad,  probidad  o eticidad  y precision  o exactitud.  Los  estandares  de  factibilidad  se  orientan  a 
lograr  una  evaluacion  realista,  prudente,  diplomatica  y austera,  y se  concretan  en  las  tres 
manifestaciones  siguientes:  procedimientos  prdcticos,  viabilidad  politica  y coste-efectividad. 

La  exigencia  de  factibilidad  resulta  especialmente  necesaria  si  se  quiere  crear  una 
cultura  autoevaluativa,  la  que  viene  considerando  el  autor  como  la  que  representa 
mayores  posibilidades  de  mejora  de  la  action  educativa  en  aulas,  centros  y demas 
ambitos  educativos. 
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4.3.  Juicios  expertos  o juicios  democraticos? 

En  la  propuesta  que  hemos  ido  configurando  nos  hemos  decantado,  en  lo  funda- 
mental, por:  a)  una  evaluation  orientada  a la  mejora;  b)  desde  enfoques  internos;  ini- 
cialmente  global,  pero,  en  ciclos  sucesivos,  parcial,  centrando  la  atencion  en  los  puntos 
fuertes  y deciles  previamente  detectados;  c)  realizada  por  la  propia  comunidad  educati- 
va,  con  el  asesoramiento  de  expertos  cuando  no  los  haya  en  la  propia  comunidad;  d) 
aplicando  el  principio  de  complementariedad  metodologica;  e)  con  la  participation  de 
los  miembros  de  la  comunidad. 

Pues  bien,  tanto  la  participacion  comb  el  enfoque  de  complementariedad  metodologica 
conducen  a un  problema  sin  resolver: quien  o quienes  deben  emitir  los  juicios  valora- 
tivos  «definitivos»?  y,  por  tanto,  i quien  ha  de  tomar  las  decisiones  de  mejora? 

Lo  ideal  seria  que  tanto  unos  como  otros  fueran  el  resultado  de  sesiones  de  evalua- 
cion en  las  que,  con  una  adecuada  dinamica  de  grupo,  los  responsables  de  la  institu- 
cion  alcanzaran  el  consenso  en  los  aspectos  fundamentales  o,  al  menos,  la  aceptacion  y 
asuncion  como  propios  de  los  acuerdos  mayoritarios.  Pero  si  no  fuera  asf,  resolver  las 
cuestiones  en  forma  de  votacion  no  parece  ser  la  respuesta  mas  correcta. 

Si  se  acepta  que  la  participacion  es  una  cuestion  de  grado26  y que,  en  consecuencia, 
admite  diversas  manifestaciones,  desde  la  simple  recepcion  y aportacion  de  informa- 
cion  hasta  la  co-gestion  de  las  instituciones,  pasando  por  la  delegacion  de  competen- 
cias...,  parece  adecuado  pensar  que,  en  casos  de  falta  de  acuerdo  final,  sea  en  el 
diagnostico  de  los  puntos  fuertes  y debiles,  sea  en  la  seleccion  de  las  medidas  de  mejo- 
ra a aplicar,  sea  en  la  elaboracion  de  los  correspondientes  planes  tanto  de  mejora  de  la 
institucion  o del  programa  como  de  su  misma  evaluacion,  las  posiciones  ultimas 
corresponden  a los  responsables  de  su  gobierno.  No  obstante,  nunca  se  insistira  lo 
suficiente  en  la  importancia  de  conseguir,  mediante  el  dialogo  y las  sesiones  de  grupo 
debidamente  conducidas,  un  acuerdo  basico  tanto  en  el  diagnostico  de  los  puntos 
debiles  como  en  las  medidas  a tomar:  el  apoyo  a los  planes  de  mejora  depende  en  gran 
medida  de  este  importante  hecho. 

4.4.  Los  planteamientos  eticos 

Uno  de  los  problemas  mas  serios  de  las  evaluaciones  institucionales,  sobre  todo 
cuando  es  realizada  por  parte  de  expertos  comisionados  o contratados  por  los  respon- 
sables del  sistema  educativo,  de  los  centros  educativos  o de  los  programas  educativos, 
es  el  relativo  a la  independencia  profesional  de  los  evaluadores.  Junto  a ello,  es  preciso 
referirnos  al  propio  comportamiento  etico  de  tales  profesionales. 

Recordemos  al  efecto  las  palabras  de  Stufflebeam  y Shinkfield  sobre  las  pseudoeva- 
luaciones,  llegando  a denominar  charlatanes  y manipuladores  a quienes  no  se  com- 
portan  en  este  punto  de  modo  adecuado: 


26  El  lector  puede  consultar  Ciscar,  C.  y Uria,  M.E.  (1986).  Organization  escolar  y action  directiva.  Madrid: 
Popular;  o Munoz,  A.  y Roman,  M.  (1989).  Modelos  de  organization  escolar.  Madrid:  Cincel. 
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«Puede  que  recopilen  la  information  rigurosamente,  pero  no  revelan  las  verdade- 
ras  conclusiones,  o lo  hacen  de  modo  selectivo,  o incluso  las  falsifican,  engahando 
tanto  a la  gente  como  a si  mismos»27. 

El  problema  resultara  de  dificil  solution  mientras  los  evaluadores  se  encuentren  en 
situation  de  desigualdad  con  respecto  a quienes  encargan  las  evaluaciones;  la  falta  de 
asociaciones  profesionales  fuertes  en  el  campo  de  la  evaluation  deja  a los  evaluadores 
en  la  situation  de  asalariados  en  relation  con  sus  patronos.  Con  frecuencia,  el  evalua- 
dor  debe  optar  entre  asumir  las  condiciones  de  quienes  le  contratan  o arriesgarse  a que 
su  trabajo  no  tenga  la  difusion  necesaria  como  para  influir  en  la  mejora  de  las  personas 
y de  las  organizations  sobre  las  que  ha  trabajado  profesionalmente. 

Este  importante  problema  ha  sido  recogido  en  las  Normas  del  Joint  Committee, 
dedicandole  uno  de  sus  cuatro  grandes  apartados,  el  de  honrade z o probidad,  cuya  meta 
se  encuentra  en  asegurar  que  la  evaluation  sea  realizada  legal  y eticamente,  y con  el 
debido  respeto  a todos  cuantos  intervienen  y estan  interesados  en  su  conclusiones.  El 
apartado  de  honrade z esta  integrado  por  los  ocho  estandares  de  calidad  siguientes: 
orientation  al  servicio,  convenios  o acuerdos  formales,  respeto  a los  derechos  humanos,  respeto  a 
la  dignidad  e integridad  humanas , informes  completos  y claros , declaration  de  los  resultados, 
conflicto  de  intereses  y responsabilidad  fiscal. 

4.5.  La  comparabilidad  de  los  datos 

Cada  vez  con  mayor  frecuencia  se  plantea  el  problema  de  la  comparabilidad  de  los 
resultados,  sobre  todo  cuando  se  trata  de  programas  en  gran  escala  o de  evaluaciones 
institucionales  amplias  que  afectan  al  sistema  educativo,  a las  universidades  publicas 
(o  a las  privadas),  a un  conjunto  de  colegios  de  una  misma  institution  o titularidad... 
La  comparabilidad  puede  ser  una  manifestation  mas  de  un  fenomeno  tan  reciente 
como  arrollador:  el  de  la  globalization. 

En  ocasiones,  este  hecho  viene  impulsado  por  la  funcion  evaluativa  de  rendition 
de  cuentas  o por  el  cumplimiento  del  principio  de  derecho  a la  information  para  facili- 
tar  las  decisiones  de  los  ciudadanos. 

El  problema  de  la  comparabilidad  es  de  elevada  complejidad  desde  una  perspecti- 
va  puramente  tecnica28,  pero  se  complica  todavfa  mas  por  algunas  de  las  exigencias  de 
nuestro  tiempo  en  lo  relativo  al  curriculum  de  las  instituciones  o por  los  derechos  con- 
sagrados  tanto  a la  libertad  de  catedra  de  los  profesores  como  a la  autonomfa  institu- 
tional de  las  universidades  u otro  tipo  de  instituciones. 


27  Ibidem,  pags.  67  s. 

28  De  hecho,  hasta  en  el  marco  de  los  indicadores  resulta  diffril  de  lograr.  Asi,  en  Ana'lisis  del  Panorama 
educativo.  Los  indicadores  de  la  OCDE.  1 995,  editado  en  Madrid  por  Mundi-Prensa,  se  lee  lo  siguiente:  «Com- 
parabilidad:  mejoras  y problemas  persistentes:  Como  resultado  de  las  mejoras  en  el  instrumento  e instrucciones 
de  recogida  de  datos  y el  continuo  dialogo  entre  la  Secretarfa  de  la  OCDE  y los  suministradores  nacionales 
de  datos,  estos  son,  de  algun  modo,  comparables.  (...)  Sin  embargo,  sigue  habiendo  importantes  problemas 
de  comparabilidad. ..»  (Pag.  11). 


o 


SO 


282 


Ramon  Perez  Juste 


De  un  tiempo  a esta  parte,  en  efecto,  se  esta  tomando  conciencia  de  la  conve- 
niencia  de  que  los  curricula  reduzcan  su  grado  de  centralizacion  en  los  diferentes 
paises,  dejando  autonomia  a las  diversas  comunidades  y regiones  en  que  se  estruc- 
tura  cada  nacion  y hasta  a los  propios  centros  para  acomodar  y completar  las  lineas 
basicas  del  curriculo  nacional.  En  Espana,  junto  al  denominado  Diseno  Curricular 
Base,  de  aplicacion  en  todo  el  pais,  las  diferentes  Comunidades  Autonomas,  en  un 
primer  nivel,  y los  centros  educativos,  en  un  segundo,  cierran  el  curriculo  a cursar 
por  los  estudiantes,  algo  que  podra  sufrir  adaptacion  en  el  nivel  del  aula.  ^Como 
compaginar  este  hecho  con  la  necesidad  de  contar  con  datos  que  situen  los  resulta- 
dos  de  un  pais  en  relacion  con  otros  de  su  entorno?  ^Como  hacer  posible  la  compa- 
racion  entre  los  resultados  de  diferentes  colegios  de  una  misma  sociedad  o 
empresa?29. 

El  caso  de  las  Universidades  puede  ser  todavia  mas  agudo.  Por  principio  consti- 
tucional,  las  universidades  gozan  de  un  elevado  grado  de  autonomia  en  su  organiza- 
tion, gestion  y desarrollo  de  las  actividades  academicas.  ^Como  comparar 
resultados  de  universidades  con  tamano  y complejidad  muy  diferentes,  planes  de 
estudio  con  notable  diversidad,  numero  de  alumnos,  profesores  y personal  distintos, 
ratios  muy  alejadas  unas  de  otras...? 

Un  problema  anadido  lo  es  el  relativo  a las  dificultades  que  este  hecho  representa 
para  la  movilidad  estudiantil,  tanto  para  las  convalidaciones  dentro  del  propio  siste- 
ma  cuanto  para  el  reconocimiento  de  Titulos  entre  diferentes  paises.  Dentro  del  propio 
pais  puede  darse  el  caso  de  que  haya  dificultades  para  poder  aplicar  una  misma  prue- 
ba para  el  acceso  a la  Universidad30;  las  dificultades  se  acrecientan  para  homologar  los 
titulos  universitarios  de  diferentes  paises,  incluso  dentro  de  la  propia  Comunidad 
Europea. 

Una  solution,  al  menos  parcial,  siempre  que  la  comparacion  se  oriente  a la  mejora, 
puede  encontrarse  en  seleccionar  como  referenda  no  los  estandares  nacionales  o 
internacionales  sino  los  datos  de  la  propia  institucion  en  una  perspectiva  evaluativa 
diacronica.  Estariamos  hablando  en  tal  caso  de  superacion,  avance,  mejora,  progreso  en 
lugar  de  superioridad  y competitividad.  Esta  perspectiva  podria  hacerse  compatible  con 
una  evaluation  criterial:  la  referenda  serian  los  niveles  de  eficacia,  eficiencia,  satisfac- 
tion... que  la  propia  institucion,  tras  el  analisis  de  su  situation,  considerara  razona- 
blemente  alcanzables.  Las  comparaciones  entre  los  indicadores  de  los  paises 
quedarian  limitadas  a aquellos  aspectos  estructurales,  funcionales  y organizativos  en 
que  los  datos  brutos  pueden  ponerse  en  relacion  con  datos  contextuales.  Por  ejemplo: 
% de  alumnos  escolarizados  en  los  diferentes  niveles;  ratios  de  exito  (superacion  de 


29  Sobre  esta  cuestion  reflexiono  el  profesor  De  la  Orden  en  la  conferencia  de  clausura  del  XII  Congre- 
so  Nacional  de  Pedagogfa  y I Iberoamericano,  celebrado  en  Madrid  en  septiembre  del  ano  2000. 

30  En  Espana,  la  prueba  de  selectividad  aplicada  tras  el  Bachillerato  para  acceder  a la  Universidad  no 
puede  tener  como  base  unas  mismas  materias  debido  a que  se  dan  diferencias  entre  las  que  se  estudian  en 
los  diversos  cursos.  En  efecto,  las  materias  que  en  unas  Comunidades  Autonomas  se  estudian  en  segundo 
curso  de  Bachillerato  (sobre  el  que  se  estructura  la  citada  prueba)  en  otras  se  cursan  en  primero,  dandose  el 
caso  de  que,  en  otras,  se  reparten  entre  primero  y segundo. 
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los  diferentes  cursos)  por  etapas  educativas;  % del  producto  interior  bruto  invertido 
en  educacion;  % de  alumnos  del  Centro  educativo  que  superan  las  pruebas  de  selecti- 
vidad  y cuota  de  estos  que  culminan,  despues,  los  estudios  universitarios  en  cada 
una  de  las  carreras... 

Sin  embargo,  no  estarfa  de  mas  un  elevado  esfuerzo  de  los  responsables  politicos 
por  encontrar  el  equilibrio  entre  la  adecuada  respuesta  a la  diversidad  social,  institu- 
cional  y personal  y el  establecimiento  de  un  curriculo  basico  centrado  en  la  cultura 
propia  de  los  grandes  ambitos  territoriales:  el  Estado,  la  Comunidad  Europea,  Occi- 
dente....  Ambos  polos  deben  complementarse  y nunca  darse  la  espalda. 

BIBLIOGRAFIA 

Abraira,  C.  (1994).  Efectos  de  la  evaluation  formativa  en  alumnos  de  Matematicas  de  Escuela 
Universitaria  de  formation  de  Profesorado  de  Education  General  Basica.  Tesis  doctoral 
Madrid:  UNED. 

Aguado  Odina,  M T.  (1993).  Analisis  y evaluation  de  modelos  y programas  de  education 
infantil  en  el  marco  de  la  Reforma  de  la  Ensefianza.  Madrid:  UNED. 

Alvira,  F.  (1991).  Metodologfa  de  la  evaluation  de  programas.  Madrid:  CIS. 

Aparicio,  F.  y Gonzalez  Tirados,  R.Ma  (1994).  La  calidad  de  la  ensefianza  superior  y otros 
temas  universitarios.  Madrid:  ICE  de  la  Universidad  Politecnica. 

Bartolome,  M.  (1994).  La  investigation  cooperativa.  En  V.  Garcia  Hoz  (Dir.).  Problemas 
y metodos  de  Investigation  en  Education  Personalizada  (pp.  376-403).  Madrid:  Rialp. 
Bartolome  Pina,  M.  (1997).  Panoramica  general  sobre  Educacion  Intercultural  en  Euro- 
pa.  Revista  de  Investigation  Educativa.  Vol.  15, 1,  7-39. 

Brenes  Chacon,  O.E.  (1998).  Influencia  de  las  metodologfas  activas  en  la  ensefianza  de  las 
Ciencias  sobre  los  resultados  academicos  y socioafectivos.  Tesis  doctoral.  Madrid:  UNED. 
Buendia  Eisman,  L.  (1996).  La  investigation  sobre  evaluacion  educativa.  Revista  de 
Investigation  Educativa.  Vol.  14,  2,  5-24. 

Bunge,  M.  (1981).  La  ciencia:  su  metodo  y su  filosoffa.  Buenos  Aires:  Ediciones  Sielo 
Veinte. 

Burgen,  A.  (Edit)  (1999).  Metas  y proyectos  de  Education  superior.  Madrid:  Fundacion 
Universidad-Empresa. 

Cabrera,  F.  y Espin,  J.V.  (1986).  Medicion  y evaluation  educativa.  Barcelona:  PPU. 

Castillo  Arredondo,  S.  (1987).  Evaluacion  de  la  eficacia  del  contenido  del  consejo 
orientador.  Tesis  doctoral.  Madrid:  UNED. 

CECE-Club  Gestion  de  Calidad  (1997).  Gufa  de  autoevaluacidn.  Centros  Educativos  o for- 
mativos  no  universitarios.  Modelo  Europeo  de  calidad  total  en  la  gestion.  Madrid-  ITE- 
CECE. 

CIDE.  (1995):  Calidad  de  la  Education  y Eficacia  de  la  Escuela.  Madrid:  Autor. 

Colas,  P.  y Rebollo,  Ma  A.  (1993).  Evaluation  de  Programas.  Gufa  practica.  Sevilla:  Kronos. 
Consejo  de  Universidades  (1991).  La  evaluation  de  las  instituciones  universitarias. 

Madrid:  Secretaria  General  del  Consejo  de  Universidades. 

Consejo  de  Universidades  (s.f.).  Plan  National  de  Evaluation  de  la  calidad  de  las  universi- 
dades. Madrid:  Secretaria  General  del  Consejo  de  Universidades. 


9 k O 

O 


284 


Ramon  Perez  juste 


Cook,  T.D.  (1985).  Postpositivist  Critical  Multiplism.  En  L.  Shotland  y M.M.  Marck 
(Edits).  Social  Science  and  Social  Policy.  Beverly  Hills:  Sage  Pub. 

Cristobal  Martin,  M.  (1991).  Andlisis  y evaluacion  de  las  prdcticas  en  las  Escuelas  Universi- 
tarias  de  Formacion  del  Profesorado  de  EGB  de  la  comunidad  de  Madrid.  Tesis  doctoral. 
Madrid:  UNED. 

Duenas  Buey,  Ma  L.  (1988).  Analisis  y valoracion  de  un  ensayo  de  integracion  escolar 
en  Madrid-Capital.  Tesis  doctoral.  Madrid:  UNED. 

Duenas  Buey,  Ma  L.  (1990).  Evaluacion  de  programas  de  apoyo  a la  integracion  escolar 
de  deficientes  mentales  ligeros.  Revista  de  Investigacion  Educativa.  Vol.  8, 15,  403-408. 

Duenas  Buey,  Ma  L.  (1993).  Evaluacion  de  un  programa  de  apoyo  a la  integracion  esco- 
lar de  deficientes  mentales  ligeros.  En  P.  Colas  y M.A.  Rebollo.  Evaluacion  de  Progra- 
mas. Sevilla:  Kronos,  209-214. 

Etxeberria,  J.,  Garcia  Jimenez,  E.,  Gil  Flores,  J.  y Rodriguez  Gomez,  G.  (1995).  Andlisis 
de  datos  y textos.  Madrid:  Ra-ma. 

Fernandez  Ballesteros,  R.  (Coord.)  (1996).  Evaluacion  de  Programas.  Madrid:  Sintesis. 

Gamazo  Perez,  T.  (1999).  Efectos  de  la  aplicacion  de  algunos  instrumentos  del  Programa  de 
Enriquecimiento  Instrumental  de  R.  Feuerstein  en  los  educandos  de  primero  y segundo 
ciclo  de  Educacion  Primaria.  Tesis  doctoral.  Madrid:  UNED. 

Garcia  Hoz,  V.  (1991).  El  principio  de  complementariedad  en  la  investigacion  pedago- 
gica  y en  la  Educacion  personalizada.  Anales  de  la  Real  Academia  de  Ciencias  Morales 
y Politicas.  68,  299-317. 

Garcia  Hoz,  V.  (Dir),  (varios  anos).  Tratado  de  Educacion  Personalizada.  33  volumenes. 

Garcia  Jimenez,  E.  (1994).  Investigacion  etnografica.  En  V.  Garcia  Hoz  (Dir.).  Problemas 
y metodos  de  Investigacion  en  Educacion  Personalizada  (pp.  343-375).  Madrid:  Rialp. 

Gaviria,  J.L.  (1999).  El  enfoque  multinivel  en  la  evaluacion  de  sistemas  educativos. 
Revista  de  Investigacion  Educativa.  17,  2,  429-443. 

Gento  Palacios,  S.  (1994).  La  gestion  de  calidad  en  Educacion.  Madrid:  La  Muralla. 

Gento  Palacios,  S.  (1998).  Implantacion  de  la  calidad  total  en  las  instituciones  educativas. 
Madrid:  UNED. 

Gines  Mora,  J.,  I.V.I.E.  y Universidad  de  Valencia  (1998).  Indicadores  de  gestion  y rendi- 
miento  para  las  universidades  espanolas.  Valladolid. 

Hernandez  Pina,  F.  (1993).  Concepciones  en  el  estudio  del  aprendizaje  de  los  estudian- 
tes  universitarios.  Revista  de  Investigacion  Educativa.  22,  117-1545-24. 

House,  E.R.  (Edit).  New  Directions  in  Educational  Evaluation.  Lewes:  Falmer  Press. 

INCE  (1998).  Diagnostico  del  Sistema  Educativo  1997.  Madrid:  Ministerio  de  Educacion  y 
Cultura. 

INCE  (2000).  Sistema  Estatal  de  Indicadores  de  la  Educacion.  Madrid:  MECD. 

INCE  (2000).  Evaluacion  de  la  ensenanza  y el  aprendizaje  de  la  lengua  inglesa.  Educacion  pri- 
maria 1999.  Avance  de  resultados.  Madrid:  Ministerio  de  Educacion  y Cultura. 

INCE  (2000).  Evaluacion  de  la  educacion  primaria.  Datos  bdsicos  1999.  Madrid:  Ministerio 
de  Educacion  y Cultura. 

Jimenez  Fernandez,  C.  (2000).  Como  conocer  a los  mas  capaces:  diagnostico  de  la  alta 
capacidad.  En  C.  Jimenez  Fernandez:  Diagnostico  y educacion  de  los  mas  capaces. 
Madrid:  UNED. 


La  evaluation  de  programas  educativos:  conceptos  basicos,  planteamientos  generates  y problematica 


285 


Joaristi  Olariaga,  L.  y Lizasoain  Hernandez,  L.  (1998).  BMDP.  New  System  para  Win- 
dows. Madrid:  Paraninfo. 

Joint  Committee  on  Standards  for  Educational  Evaluation  (1981).  Standards  for  Evalua- 
tions of  Educational  Programs,  Projects  and  Materials.  New  York:  McGraw-Hill. 

Joint  Committee  on  Standards  for  Educational  Evaluation  (1994).  The  Program  Evalua- 
tion Standards.  Thousand  Oaks,  CA.:  Sage. 

Jornet  Melia,  J;  y Suarez  Rodriguez,  J.  (1994).  Evaluacion  referida  a criterio.  Construc- 
cion  de  un  test  criterial  de  clase.  En  V.  Garcia  Hoz  (Dir.).  Problemas  y metodos  de 
Investigacidn  en  Educacion  Personalizada  (pp.  419-443).  Madrid:  Rialp. 

Hopkins,  D.  (1989).  Evaluation  for  School  Development.  Milton  Keynes:  Open  University' 
Press. 

Kemmis,  S.  (1989).  Seven  Principles  for  Programs  Evaluation  in  Curriculum  Develop- 
ment and  Innovation.  En  E.  R.  House  (Ed.).  New  Directions  in  Educational  Evaluation 
(pp.  117-140).  Lewes:  Falmer  Press. 

Lujan,  J.  y Puente,  J.  (1996).  Evaluacion  de  centros  docentes.  El  Plan  EVA.  Madrid:  MEC. 

Marchesi,  A.  y Martin,  E.  (1998).  Calidad  de  la  ensehanza  en  tiempos  de  cambio.  Madrid: 
Alianza  Editorial. 

Martin,  Ma  T.  y Sarrate,  Ma  L.  (1999).  Evaluacion  y ambitos  emergentes  en  animacion  socio- 
cultural. Madrid:  Sanz  y Torres. 

Martinez  Mediano,  C.  (1991).  Factores  de  eficacia  de  los  Centros  Asociados  de  la  UNED  en  el 
curso  de  acceso  para  mayores  de  veinticinco  ahos.  Tesis  doctoral.  Madrid:  UNED. 

Martinez  Mediano,  C.  (1996).  Evaluacion  de  programas  educativos.  Madrid:  UNED. 

Mateo  Andres,  J.  (2000).  La  evaluacion  del  profesorado  y la  gestion  de  la  calidad  de  la 
Educacion.  Hacia  un  modelo  comprensivo  de  evaluacion  sistematica  de  la  docen- 
cia.  Revista  de  Investigacidn  Educativa.  Vol.  18. 1,  7-36. 

Mateo,  J.,  Escudero,  T.,  Miguel,  M.  de,  Gines  Mora,  J.  y Rodriguez  Espinar,  S.  (1996).  La 
evaluacion  del  profesorado.  Un  tema  a debate.  Revista  de  Investigacidn  Educativa. 
Vol.  14,  2,  73-94. 

Michavilla,  F.  (Edit).  (1998).  Experiencias  y consecuencias  de  la  evaluacion  universitaria. 
Madrid:  Fundacion  Universidad  - Empresa. 

Miguel  Diaz,  M.  de  (Coord)  (1999).  La  evaluacion  de  programas:  entre  el  conocimiento 
y el  compromiso.  Revista  de  Investigacidn  Educativa,  Vol.  17,  2,  345-380. 

Miguel  Diaz,  M.  de  (1997).  La  evaluacion  de  los  centros  educativos.  Aproximacion  a 
un  enfoque  sistemico.  Revista  de  Investigacidn  Educativa.  Vol.  15,  2, 145-178. 

Ministerio  de  Educacion  y Cultura  (1997).  Modelo  Europeo  de  Gestion  de  Calidad. 
Madrid:  Centro  de  Publicaciones.  Secretaria  General  Tecnica. 

Medina  Heredia,  Ma  T.  (1998).  Evaluacion  de  programas  educativos.  Los  materiales  didacti- 
cos  del  Centro  Nacional  de  Educacion  a Distancia.  Tesis  doctoral.  Madrid:  UNED. 

Mozas  Flores,  J.C.  (1997).  Diseho,  aplicacion  y evaluacion  de  un  programa  integrado  en  el 
curriculo  de  Educacion  Primaria,  sobre  el  fomento  de  actitudes  contrarias  al  tabaco  y al 
alcohol  en  un  marco  interactivo  con  los  principios  de  una  vida  sana.  Tesis  doctoral. 
Madrid:  UNED. 

Nevo,  D.  (1986).  The  Conceptualization  of  Educational  Evaluation.  En  E.R.  House 
(Edit):  New  Directions  in  Educational  Evaluation,  (pp.  15-30).  Lewes:  Falmer  Press. 


286 


Ramon  Perez  Juste 


Nevo,  D.  (1990).  Role  of  the  Evaluator.  En  H.  J.  Walberg  y G.  D.  Haertel  (Edits.).  The  Inter- 
national Encyclopedia  of  Educational  Evaluation,  (pp.  89-90).  Oxford:  Pergamon  Press. 

OCDE.  (1991).  Escuelas  y calidad  de  la  ensehanza.  Informe  internacional.  Madrid:  Paidos- 
M.E.C. 

OCDE  (1995).  Analisis  del  panorama  educativo.  Madrid:  OCDE-Mundi-Prensa. 

Orden  Hoz,  A.  de  la  (1993).  Influencia  de  la  evaluacion  del  aprendizaje  en  la  eficacia 
de  la  ensenanza.  Revista  de  Investigacion  Educativa.  22,  7-42. 

Orden  Hoz,  A.  de  la  (1999).  La  investigacion  educativa:  naturaleza,  funciones  y ambi- 
giiedad  de  sus  relaciones  con  la  practica  y la  politica  educativas.  Revista  de  Investi- 
gacion Educativa.  Vol.  17, 1,  7-32 

Orden  Hoz,  A.  de  la  (2000).  La  globalizacion  y los  estandares  nacionales  de  rendimien- 
to  educativo.  Conferencia  de  clausura  del  XII  Congreso  Nacional  de  Pedagogia  y I 
Iberoamericano.  Documento  no  publicado. 

Patton,  M.Q.  (1980).  Qualitative  evaluation  methods.  Beverly  Hills:  Sage. 

Perez  Juste,  R.  y Garcia  Ramos,  J.M.  (1989).  Diagnostic,  evaluacion  y toma  de  decisiones. 
Madrid:  Rialp. 

Perez  Juste,  R.  (Dir)  (1989).  La  Universidad  Nacional  de  Educacion  a Distancia:  luces  y 
sombras  de  una  institution  innovadora.  Borddn.  41,  3.  Monografico. 

Perez  Juste,  R.  (1989).  Evaluacion  del  material  didactico.  Revista  Iberoamericana  de  Edu- 
cacion  Superior  a Distancia.  Vol.  I,  3,  93-112. 

Perez  Juste,  R.  (Dir)  (1991).  La  Universidad  Nacional  de  Educacion  a Distancia:  aproxima- 
cion  a la  evaluacion  de  un  modelo  innovador.  Madrid:  CIDE. 

Perez  Juste,  R.  (Dir)  (1992).  Estudios  sobre  el  curso  de  acceso  a la  UNED  para  mayores  de  25 
ahos.  Madrid:  UNED. 

Perez  Juste,  R.  (1993).  Evaluacion  de  las  adaptaciones  curriculares.  Revista  de  Ciencias 
de  la  Educacion.  153,  51-68. 

Perez  Juste,  R.  (1993).  Evaluacion  de  Programas  de  Orientacion.  Adas  del  V Seminario 
Iberoamericano  de  Orientacion,  pags.  46-65. 

Perez  Juste,  R.,  Martinez  Mediano,  C.  y Rodriguez  Gomez,  G.  (1994).  Centros  educativos 
de  calidad.  Madrid:  ITE  de  CECE. 

Perez  Juste,  R.  (1994).  Investigacion  y mejora  de  programas.  Programas  comunes  y 
.programas  personales.  En  V.  Garcia  Hoz  (Dir.).  Problemas  y metodos  de  Investigacion 
en  Educacion  Personalizada  (pp.  510-536).  Madrid:  Rialp. 

Perez  Juste,  R.,  Garcia  Llamas,  J.L.  y Martinez  Mediano,  C.  (Coords.)  (1995).  Evaluacion 
de  Programas  y Centros  Educativos.  Madrid:  UNED. 

Perez  Juste,  R.,  Cristobal  Martin,  Ma.  y Martinez  Aznar,  B.  (Coords.)  (1995).  Evaluacion 
de  Profesores  y Reformas  Educativos.  Madrid:  UNED. 

Perez  Juste,  R.  (1997).  La  evaluacion  del  material  impreso  como  elemento  sustancial  en 
la  evaluacion  de  programas.  Ponencia  presentada  a las  Jornadas  Internacionales  sobre 
el  Material  Impreso  en  la  Ensehanza  a Distancia.  Madrid:  IUED  de  la  UNED. 

Perez  Juste,  R.  (1998).  La  calidad  de  la  Educacion  universitaria.  Revista  Iberoamericana 
de  Educacion  a Distancia  1, 1, 13-38. 

Perez  Juste,  R.  (1999).  Nuevas  perspectivas  de  gestion,  control  y evaluacion.  Borddn, 
51,  4,  449-478. 


La  evaluation  de  programas  educativos:  conceptos  basicos,  planteamientos  generates  y problematica 


28  7 


Perez  Juste,  R.  (2000).  La  calidad  de  la  Educacion.  En  R.  Perez  Juste  y otros:  Hacia  una 
Educacion  de  Calidad,  (pp.  13-44).  Madrid:  Narcea. 

Perez  Juste,  R.  (2000).  La  evaluacion  como  medio  para  la  mejora  de  la  calidad  y de  la 
eficacia  del  aprendizaje,  de  la  educacion  y de  las  instituciones.  Tercera  ponencia  de 
la  Seccion  VI  del  XII  Congreso  Nacional  de  Pedagogia.  Madrid. 

Repetto  Talavera,  E.  (1994).  Ultimas  aportaciones  en  la  evaluacion  de  programas  de 
orientacion  metacognitiva  de  la  comprension  lectora.  Revista  de  Investigacion  Educa- 
tiva.  23,  314  -323. 

Rodriguez  Espinar,  S.  (1997).  La  evaluacion  institucional  universitaria.  Revista  de  Inves- 
tigacion Educativa.  Vol.  15,  2, 179-216. 

Rodriguez  Gomez,  G.  (1995).  El  centro  escolar  como  objeto  de  investigacion:  la  evalua- 
cion interna  de  centres.  En  V.  Garcia  Hoz  (Dir.).  Del  fin  a los  objetivos  de  la  Educacion 
Personalizada  (pp.  308-332).  Madrid:  Rialp. 

Rodriguez  Gomez,  G.,  Gil  Flores,  J.  y Garcia  Jimenez,  E.  (1996).  Metodologia  de  la  inves- 
tigacion cualitativa.  Malaga:  Aljibe. 

Rossi,  PH.  y Freeman,  H.E.  (1989).  Evaluacion:  Un  enfocjue  sistemdtico  para  programas 
sociales.  Mexico:  Trillas. 

Sanz  Moreno,  A.  (1992).  Disefio  y evaluacion  de  un  programa  para  desarrollar  las  habilidades 
implicadas  en  la  comprension  y sintesis  de  textos  expositivos.  Tesis  doctoral.  Madrid: 
UNED. 

Sanz  Ore,  R.  (1990).  Evaluacion  de  programas  en  orientacion  educativa.  Madrid:  Piramide. 

Scriven,  M.  (1967).  «The  Methodology  of  Evaluations  en  Perspectives  on  Curriculum 
Evaluation,  AERA  Monograph  Series  on  Curriculum  Evaluation,  Chicago,  Rand 
McNally. 

Sidman,  M.  (1978).  Tdctica  de  la  investigacion  cientifica.  Barcelona:  Editorial  Fontanella. 

Stenhouse,  L.  (1984).  Investigacion  y desarrollo  del  curriculum.  Madrid:  Morata. 

Stufflebeam,  D.L.  y Shinkfiel,  A.J.  (1987).  Evaluacion  sistemdtica.  Guia  tedrica  y prdctica. 
Barcelona:  Paidos-MEC. 

Tejedor,  F.J.  (1990).  Perspectiva  metodologica  del  diagnostico  y evaluacion  de  necesi- 
dades  en  el  ambito  educativo.  Revista  de  Investigacion  Educativa.  Vol.  8, 16, 15-37. 

UNESCO  (1998).  La  Educacion  Superior  en  el  Siglo  XXI.  Vision  y Accion.  Paris:  UNESCO. 

Varios  (1991).  Evaluacion  de  Programas.  Bordon,  43,  4,  monografico. 

Varios  (1998).  La  evaluacion  de  la  Universidad  Espariola.  Revista  de  Educacion,  315. 
Monografico. 

Varios  (1996).  Evaluacion  de  la  calidad  de  la  Educacion.  Revista  Iberoamericana  de  Edu- 
cacion,  10,  Monografico. 

Villar  Angulo,  L.M.  y Medina  Rivilla,  A.  (Edits.)  (1998).  Evaluacion  de  Programas  Educa- 
tivos, Centros  y Profesores.  Madrid:  Universitas. 

Wilson,  Jh.  D.  (1992).  Como  valorar  la  calidad  de  la  ensenanza.  Madrid:  Paidos-M.E.C. 

Woods,  P.  (1987).  La  escuela  por  dentro.  Madrid:  Paidos-M.E.C. 


286 


Revista  de  Investigacion  Educativa,  2000,  Vol.  18,  n.°  2,  pags.  289-317 


LA  EVALUACION  DE  PROGRAMAS  SOCIALES: 
FUNDAMENTOSY  ENFOQUESTEORICOS 

Mono  de  Miguel  Diaz 

Universidad  de  Oviedo 


I.  INTRODUCCION 

Frecuentemente  constatamos  que  en  la  literatura  relativa  a evaluacion  se  utilizan 
algunos  conceptos  de  forma  poco  precisa  lo  que  genera  indudablemente  expresiones 
confusas.  Por  ello,  antes  de  abordar  el  tema  que  nos  ocupa,  consideramos  procedente 
efectuar  ciertas  precisiones  terminologicas  que  permitan  clarificar  el  punto  de  vista 
que  asumimos  al  realizar  este  trabajo,  asf  como  los  parametros  dentro  de  los  cuales 
debe  ser  analizada  nuestra  aportacion  ya  que,  de  lo  contrario,  su  lectura  puede  dar 
lugar  a interpretaciones  muy  distintas  a nuestros  planteamientos. 

Un  ejemplo  de  lo  que  acabamos  de  senalar  sucede  con  los  terminos  investigacion 
evaluativa  y evaluacion  de  programas.  Aunque  inicialmente  aluden  a un  mismo 
campo  de  trabajo,  en  sentido  estricto,  su  significado  es  distinto.  Desde  nuestro  punto 
de  vista,  la  investigacion  evaluativa  ( evaluation  research ) constituye  la  aplicacion  de  los 
principios  y procedimientos  de  la  investigacion  social  para  comprobar  sistematica- 
mente  la  eficacia  de  un  programa  de  intervencion  social.  Cuando  hablamos  de  evalua- 
cion de  programas  ( program  evaluation)  aludimos  al  conjunto  de  principios,  estrategias 
y procesos  que  fundamentan  la  evaluacion  de  toda  action  o conjunto  de  acciones  des- 
arrolladas  de  forma  sistematica  en  un  determinado  contexto  con  el  fin  de  tomar  las 
decisiones  pertinentes  que  contribuyan  a mejorar  las  estrategias  de  intervencion 
social.  Si  el  objetivo  de  un  programa  es  mejorar  las  condiciones  sociales,  el  proposito 
de  la  evaluacion  es  mejorar  los  propios  programas  (Rossi,  Freeman  y Lipsey,  1999).  De 
lo  cual  se  deduce  que  esta  tarea  conlleva  «algo  mas»  que  la  mera  utilizacion  de  meto- 
dologfas  cientfficas  orientadas  a evaluar  teorfas  e impactos. 

Para  percibir  con  mayor  claridad  los  matices  que  distinguen  ambos  terminos  basta 
recordar  la  definition  comunmente  aceptada  sobre  el  concepto  de  evaluacion  como 
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«un  proceso  sistematico  de  busqueda  de  evidencias  para  formular  juicios  de  valor  que 
orienten  la  toma  de  decisiones».  De  ella  se  desprende  la  existencia  de  tres  elementos 
claves  que  delimitan  esta  actividad:  el  proceso  metodoldgico  que  se  lleva  a cabo  para  recoger 
e interpretar  las  evidencias  relacionadas  con  el  programa,  los  criterios  que  vamos  a utilizar  para 
emitir  los  juicios  de  valor  y,  finalmente,  la  utilizacion  que  posteriormente  se  va  hacer  de  los 
resultados.  Por  ello,  toda  aproximacion  conceptual  al  campo  de  la  evaluation  de  pro- 
gramas  debe  contemplar  necesariamente  los  tres  pilares  sobre  los  que  se  fundamenta 
esta  disciplina  — evidencias,  valores  y decisiones — ya  que,  de  lo  contrario,  efectuaria- 
mos  un  reducciorusmo  injustificado. 

Partiendo  de  este  planteamiento,  la  distincion  entre  investigation  evaluativa  y 
evaluacion  de  programas  se  percibe  de  forma  mas  nftida.  La  investigacion  evaluativa 
constituye  esencialmente  una  estrategia  metodologica  orientada  a la  busqueda  de  evidencias 
respecto  a un  programa , pero  la  evaluacion  de  un  programa  requiere,  ademas,  abordar  otros 
problemas  relacionados  con  los  criterios  a utilizar  para  emitir  los  juicios  de  valor  y con  los 
procesos  relativos  a la  toma  decisiones.  Se  diria,  pues,  que  la  primera  constituye  una  de 
las  herramientas  metodologicas  basicas  a utilizar  en  una  de  las  fases  del  proceso  eva- 
luativo.  Ciertamente  una  fase  muy  importante  — en  la  medida  que  nos  facilita  el 
soporte  a partir  del  cual  vamos  a emitir  las  valoraciones — pero  en  modo  alguno  la 
unica. 

Hemos  considerado  oportuno  iniciar  el  presente  trabajo  matizando  esta  distincion 
porque  en  la  bibliografia  al  respecto  es  bastante  comun  que  a la  hora  de  hablar  de 
paradigmas,  modelos  o enfoques  sobre  evaluacion  de  programas  se  utilicen  — mas  o 
menos  adaptados — aquellos  que  son  propios  de  la  investigacion  cientffica  social  como 
si  ambos  terminos  fueran  equivalentes.  Desde  nuestro  punto  de  vista  esta  extrapola- 
tion adolece  de  sentido;  dado  que  supone  una  utilizacion  indiscriminada  de  conceptos 
que  aluden  a dominios  diferentes.  No  cabe,  por  tanto,  trasladar  a la  evaluacion  de  progra- 
mas los  supuestos  teoricos  de  los  paradigmas  clasicos  de  investigacion  propios  de  las  ciencias 
sociales  ya  que  la  fundamentacion  de  esta  disciplina  requiere  necesariamente  contemplar  el 
mundo  de  los  valores  y de  las  consecuencias.  Por  ello,  necesitamos  abordar  este  tema  desde 
una  optica  mas  comprensiva. 

2.  DELIMITACION  DEL  CONTEXTO  DELTRABAJO 

Una  de  las  caracterfsticas  dominantes  en  el  campo  de  la  evaluacion  de  programas 
durante  los  ultimos  anos  ha  sido  la  multitud  y heterogeneidad  de  los  conceptos  aso- 
ciados  con  este  termino.  Al  igual  que  sucede  en  toda  disciplina  emergente,  constante- 
mente  estan  apareciendo  aproximaciones,  enfoques,  modelos  y metodos  que  acunan 
nuevos  terminos  y tipologfas  lo  que  hace  patente  la  escasa  consolidation  epistemolo- 
gica  que  presenta  actualmente  este  campo.  Presionados  por  la  realidad  practica,  los 
evaluadores  se  dedican  a resolver  cuestiones  de  caracter  metodologico  y relegan  a un 
segundo  piano  las  cuestiones  teoricas  relativas  a los  fundamentos  de  la  evaluacion.  De 
ahf  que  la  escasa  atencion  que  se  presta  a la  «teoria»  se  considere  como  una  de  las  debilidades 
mas  importantes  que  tiene  esta  actividad  y que  impide  su  consolidacion  como  disciplina  cientt- 
fica  (Bickman  1990,  Rebien,  1997). 
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Ante  esta  carencia,  resulta  necesario  revisar  los  supuestos  tedricos  de  esta  discipli- 
na  con  el  fin  de  contribuir  a consolidar  su  estatuto  epistemologico  y ayudar  a los  eva- 
luadores  a que  puedan  explicitar  los  criterios  que  implicitamente  utilizan  para 
seleccionar,  organizar  y llevar  a cabo  sus  metodos  de  trabajo.  La  tarea  del  evaluador 
no  puede  limitarse  a una  simple  eleccion  de  metodologias  y metodos  para  obtener  evi- 
dencias.  Necesitamos  de  manera  imprescindible  una  teorfa  que  justifique  y explique 
los  procedimientos  y las  practicas  que  en  cada  caso  se  llevan  a cabo.  La  evaluacion  de 
programas  es  algo  mas  que  una  metodologta  aplicada  y,  al  igual  que  sucede  en  todas  las  disci- 
plinas,  requiere  sus  propias  bases  tedricas  que  justifiquen  y den  sentido  a lo  que'  hace  un  evalua- 
dor; como  lo  hace  y,  sobre  todo,  para  que. 

Como  ya  hemos  avanzado,  en  este  campo  no  abundan  trabajos  de  caracter  episte- 
mologico.  Se  habla  mucho  de  metodos  y metodologias  pero  casi  nada  de  epistemolo- 
gia;  es  decir,  sobre  la  teorfa  del  conocimiento  vinculada  a la  evaluacion  de  programas. 
Mas  aun,  en  muchos  textos  no  se  matizan  las  diferencias  entre  fundamentos  cientificos 
de  la  evaluacion  de  programas  (foundations ) y enfoques  tedricos  aplicables  a la  evalua- 
cion  de  programas  ( approaches ).  Evidentemente  estos  terminos  no  significan  lo  mismo 
ya  que,  mientras  el  primero  hace  referencia  a las  bases  que  fundamentan  la  evalua- 
cion,  el  segundo  alude  claramente  a las  distintas  metodologias  que  podemos  utilizar 
en  la  practica  para  abordar  los  procesos.  Aunque,  logicamente,  ambos  conceptos  estan 
relacionados. 

Por  ello,  aunque  explicitamente  no  se  manifieste  la  justificacion  teorica,  cada 
opcion  metodologica  ha  sido  elegida  en  funcion  de  las  concepciones  ontologicas  y 
epistemologicas  que  el  evaluador  tiene  sobre  los  conceptos  de  «programa»  y «evalua- 
cion»,  lo  que  significa  que  existe  un  posicionamiento  implicito.  Detras  de  cada  aproxi- 
macion  metodologica  siempre  hay  un  enfoque  teorico  tacito.  Ello  permite  que,  ante  un 
problema  concreto,  sea  posible  plantear  estrategias  de  intervencion  distintas  y que 
evaluaciones  con  enfoques  diferentes  sobre  una  misma  intervencion  puedan  llegar  a 
resultados  contradictories  (Dennis  y Boruch,  1989).  Lo  cual  significa  que  todas  las  apro- 
ximaciones  tienen  sus  ventajas  e inconvenientes  y que  es  necesario  que  el  evaluador  precise,  en 
cada  caso,  el  marco  conceptual  que  asume  a la  hora  de  justificar  y planificar  su  trabajo  ya  que 
las  decisiones  metodoldgicas  deben  estar  siempre  supeditadas  a los  planteamientos  tedricos 
(Shadish,  Cook  y Leviton,  1991).  Necesitamos  abordar  la  reflexion  epistemologica 
sobre  el  tipo  de  conocimiento  que  nos  aporta  un  proceso  evaluativo  y,  en  consecuen- 
cia,  sobre  el  marco  que  justifica  el  trabajo  de  un  evaluador.  Necesitamos  mas  y mejor 
teorfa  (Cook,  1997). 

Situados  en  este  contexto,  el  abanico  de  temas  que  pueden  ser  objeto  de  la  reflexion 
es  tan  amplio  que  necesariamente  procede  cierta  delimitacion  con  fines  didacticos. 
Desde  nuestro  punto  de  vista,  siguiendo  pautas  de  otros  autores  que  se  ocupan  del 
tema  (Bickman  1990,  Shadish,  Cook  y Leviton  1991,  Rebien  1997),  la  fundamentacion 
teorica  de  la  evaluacion  de  un  programa  exige  una  toma  de  postura,  al  menos,  sobre 
las  siguientes  cuestiones  basicas:  el  concepto  de  programa  como  estrategia  de  intervencion 
social,  las  bases  epistemologicas  que  determinan  la  construccion  de  las  evidencias,  los  criterios  a 
utilizar  para  formular  los  juicios  de  valor,  la  utilidad  o usos  que  van  a tener  los  informes  y el 
enfoque  metodologico  a seguir  para  realizar  el  proceso  evaluativo.  A partir  de  las  opciones  y 
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decisiones  que  el  evaluador  asuma  en  torno  a estas  cuestiones  podremos  entender  y 
justificar  las  razones  por  las  que  elige  un  determinado  enfoque  teorico  y metodologico 
para  evaluar  cada  programa  concreto. 

3.  CONCEPTO  DE  INTERVENCION  SOCIAL 

Toda  aproximacion  al  estatuto  cientifico  de  una  disciplina  conlleva  identificar  pre- 
viamente  cual  es  el  objeto  del  conocimiento.  Necesitamos,  pues,  una  definicion  sobre 
el  concepto  «programa».  Habitualmente  se  entiende  por  programa  todo  «plan,  proyecto 
o servicio  mediante  el  cual  se  disena,  organiza  y pone  en  practica  un  conjunto  de  acciones  diri- 
gidas  a la  consecucion  de  una  metas»  (De  Miguel,  2000b).  Este  termino  aglutina,  por  tanto, 
cualquier  tipo  de  estrategia  de  intervencion  social  orientada  a promover  cambios.  De 
ahi  que  la  primera  reflexion  que  se  debe  plantear  el  evaluador  sea  sobre  como  deben 
ser  conceptualizadas,  disenadas  y aplicadas  estas  estrategias  de  intervencion  para  que 
produzcan  cambios  sociales  efectivos.  En  definitiva,  necesitamos  una  teorfa  que  fun- 
damente  la  elaboracion  y aplicacion  de  las  estrategias  de  intervencion  social  y,  en  con- 
secuencia,  que  pueda  ser  utilizada  como  marco  de  referenda  para  tomar  decisiones  a 
la  hora  de  planificar  los  procesos  evaluativos  (Bickman,  1987). 

El  termino  «teoria»  aplicado  a la  evaluacion  de  programas  alude  a «un  conjunto  de 
principios  interrelacionados  que  explican  y predicen  la  conducta  de  una  persona,  grupo  u orga- 
nizacion  sobre  la  que  hemos  llevado  a cabo  una  accion  intencional  y sistematica»  (Chen,  1990). 
Logicamente,  existen  distintas  formas  de  entender  las  relaciones  entre  los  principios, 
las  acciones  y las  conductas  en  el  campo  social,  por  lo  que  es  muy  importante  conocer 
cual  es  el  punto  de  vista  que  considera  el  evaluador  en  cada  caso  concreto,  ya  que 
constituye  el  determinante  inmediato  que  justifica  la  perspectiva  o enfoque  teorico 
que  adopta  para  planificar  y evaluar  una  intervencion.  De  ahf  que  una  de  las  primeras 
cuestiones  que  el  evaluador  debe  explicitar  sea  la  concepcion  teorica  desde  la  que 
aborda  el  «programa»  en  tanto  que  estrategia  de  intervencion  social. 

3.1.  El  programa  como  verificacion  de  teorias 

Una  de  las  concepciones  clasicas  sobre  los  programas  es  considerarlos  como  estra- 
tegias que  permiten  la  verificacion  de  teorias  que  son  utiles  para  resolver  problemas 
sociales.  Quienes  adoptan  esta  postura  enfatizan  el  papel  de  la  teorfa  como  fundamen- 
to  de  toda  intervencion  social  por  lo  que  el  objetivo  prioritario  de  toda  evaluacion  se 
orienta  a probar  las  relaciones  causa-efecto  que  se  establecen  entre  unos  tratamientos  y 
unos  resultados.  Elio  exige  que  tanto  el  diseno  como  la  ejecucion  de  los  programas  se 
lleve  a cabo  de  acuerdo  con  los  principios  de  la  metodologfa  cienrifica  mas  rigurosa 
dado  que  su  objetivo  es  muy  similar  a la  verificacion  de  hipotesis  conceptuales. 

Quienes  adoptan  esta  postura  — como  ya  proponia  el  conocido  trabajo  de  Camp- 
bell (1969),  Reforms  as  Experiments—,  consideran  que  los  cambios  sociales  pueden  ser 
planificados  a modo  de  experimentos.  Los  programas  constituyen  estrategias  o arte- 
factos  a traves  de  las  cuales  se  someten  a prueba  si  determinadas  teorias  son  eficaces 
para  la  resolucion  de  problemas  sociales  practicos.  Al  igual  que  sucede  en  todo  experi- 
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mento,  el  evaluador  formula  una  teorfa  explicativa  sobre  una  realidad  o problema 
social  sobre  la  cual  construye  y aplica  una  estrategia  de  intervencion  siguiendo  los 
canones  de  la  metodologfa  cientffica  (aleatorizacion  y manipulacion)  con  el  fin  de 
poder  probar  su  adecuacion  y eficacia. 

Para  quienes  defienden  este  concepto,  el  objetivo  principal  de  una  evaluacion  es 
lograr  identificar  los  efectos  netos  de  un  programa  — es  decir,  aquellos  que  se  deben 
exclusivamente  a las  variables  explicativas  que  justifican  la  intervencion — al  margen 
de  los  efectos  brutos.  Otros  autores  prefieren  hablar  de  resultados  e impactos,  enten- 
diendo  por  los  primeros  todos  los  efectos  de  un  programa  y acotando  el  segundo  ter- 
mino  solamente  para  aquellos  sobre  los  que  se  tenga  indicios  razonables  de  causalidad 
(Schalock  1995,  Boruch  1997,  Apodaca  1999).  Precisamente  porque  su  finalidad  pri- 
mordial es  la  identificacion  de  los  efectos  netos  o impactos  — a corto,  medio  o largo 
plazo — asumir  este  enfoque  implica  introducir  en  la  evaluacion  de  un  programa  toda 
la  problematica  de  la  experimentacion  cientffica  en  el  campo  social,  con  toda  la  carga 
de  dificultades  y limitaciones  que  este  hecho  conlleva.  Las  caracterfsticas  implfcitas  en 
toda  intervencion  social  impiden  la  aplicacion  de  disenos  metodologicos  rigurosos 
que  nos  permitan  obtener  indicios  razonables  de  validez  interna  y externa  de  forma 
satisfactory  (Cronbach,  1982). 

3.2.  El  programa  como  tecnologia  sistematica 

La  realidad  practica  nos  hace  ver  que  la  resolution  de  problemas  sociales  constitu- 
ye  mas  un  problema  de  contingencias  que  de  teorfas  causales.  Generalmente  no  exis- 
ten  grandes  discusiones  sobre  las  teorfas  o principios  que  deben  inspirar  las  polfticas 
publicas.  Todos  sabemos  que  precede  hacer  cuando  se  quieren  abordar  problemas 
relativos  a la  pobreza,  la  marginacion,  la  discrimination  social,  tercera  edad,  etc...  Las 
diferencias  no  estan  tanto  en  el  terreno  de  las  ideas  como  en  la  instrumentacion  practi- 
ca de  las  polfticas  que  se  llevan  a cabo.  Por  ello,  la  evaluacion  de  los  programas,  antes 
que  los  problemas  de  causalidad  de  las  teorfas,  se  debera  centrar  sobre  los  procesos  de 
instrumentacion  de  las  estrategias  de  intervencion  ya  que  son  las  contingencias  que  se 
establecen  en  cada  caso  las  que  — en  ultima  instancia — determinan  las  diferencias. 

Este  hecho  ha  supuesto  que  los  enfoques  relativos  a la  evaluacion  de  programas 
desplazaran  el  foco  de  la  reflexion  hacia  los  problemas  practicos  que  conlleva  toda 
estrategia  de  intervencion  ya  que  son  los  procesos  los  que,  esencialmente,  determinan 
la  mayor  o menor  eficacia  de  los  programas  (Wholey,  Hatry  y Newcomer,  1994).  De 
ahf  que  a la  hora  de  evaluar  sea  muy  importante  distinguir  entre  los  efectos  que  se 
deben  a al  desarrollo  de  los  programas  ( action  hipotesis)  y los  que  estan  determinados 
por  las  teorfas  ( conceptual  hipotesis).  Asumir  esta  distincion  implica  un  cambio  de  enfo- 
que sobre  el  concepto  de  programa  ya  que  puede  ser  tipificado  como  una  tecnologia 
instrumental  que  debe  ser  disenada  y modificada  de  forma  constante  en  funcion  de  su 
utilidad  en  relation  con  los  objetivos  establecidos. 

Desde  esta  perspectiva  los  objetivos  de  la  evaluacion  no  se  focalizan  sobre  la  verifi- 
cation de  la  inferencia  causal  de  las  teorfas  sino  sobre  las  distintas  hipotesis  practicas 
que  se  pueden  formular  en  cada  una  de  las  fases  que  implica  la  conceptualizacion,  el 
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diseno,  la  aplicacion  y la  utilidad  de  una  estrategia  de  intervention  social.  Por  ello,  un 
enfoque  evaluativo  global  debera  abarcar  objetivos  relativos  a cada  una  de  estas  fases, 
a saber:  a)  la  estimation  del  merito  de  las  metas  que  se  propone  cada  estrategia,  b)  las 
calidad  del  diseno  y planificacion  de  las  actuaciones  a realizar,  c)  el  grado  de  cumpli- 
miento  y adecuacion  con  que  dicha  planificacion  ha  sido  llevada  a cabo  (implementa- 
tion) y d)  la  calidad  y la  utilidad  de  los  resultados  e impactos  generados.  La  mayoria 
de  los  enfoques  practicos  recientes  coinciden  en  senalar  estos  cuatro  objetivos  como 
las  metas  a tener  en  cuenta  en  toda  evaluation  de  un  programa  ya  que  nos  permiten 
distinguir  entre  los  fallos  de  la  teorfa  y los  fallos  que  se  producen  en  la  cadena  de 
secuencias  que  implica  el  diseno  y la  aplicacion  de  una  estrategia  de  intervention 
social  (Brinkerhoff,  Brethower,  Hluchyj  y Nowakowski,  1985). 

3.3.  El  programa  como  compromiso  con  el  cambio  social 

En  un  tercer  enfoque  situariamos  aquellos  que  consideran  que  la  justification  teori- 
ca  de  todo  programa  es  promover  un  cambio  social  por  lo  que  este  debe  ser,  igualmen- 
te,  el  objetivo  de  toda  evaluation.  Mas  alia  de  los  problemas  practicos  que  conlleva 
toda  estrategia  de  intervention,  debemos  asumir  que  su  finalidad  primordial  es  pro- 
mover la  transformation  social.  Por  ello,  en  la  medida  que  nuestra  busqueda  persigue 
identificar  las  politicas,  programas  y acciones  mas  adecuadas  a este  fin,  el  evaluador 
no  puede  realizar  su  trabajo  sin  cuestionar  los  valores  y las  consecuencias  que  se 
ponen  en  juego  en  cada  estrategia  de  intervention.  Lo  cual  significa  que  la  calidad  de 
su  trabajo  estara  mediatizada  no  solo  por  su  capacidad  tecnica  sino  tambien  por 
su  compromiso  en  la  resolution  de  los  problemas  sociales  (pobreza,  marginacion, 
desigualdad,  etc..)  y en  la  lucha  a favor  de  una  sociedad  mas  justa  e igualitaria  (Patton 
1994,  Fetterman  1994,  De  Miguel  1999). 

La  caracterfstica  fundamental  de  este  enfoque  es  que  el  evaluador  no  se  situa  al 
margen  del  programa  sino  que  constituye  uno  de  los  elementos  del  mismo  y,  en  esa 
medida,  asume  un  papel  crftico  respecto  al  cambio  social.  Frente  a los  enfoques  ante- 
riores  en  los  que  desempenaba  el  rol  de  experimentador  y programador  social,  en  este 
caso  su  trabajo  se  identifica  con  la  misma  finalidad  que  promueve  el  programa;  es 
decir,  necesita  concebir  su  funcion  dentro  del  conjunto  de  acciones  que  desarrolla  el 
programa  para  promover  el  cambio  y la  mejora  social  (Nevo  1990,  Sonnichsen  1994). 
Ahora  bien,  para  asumir  este  papel  es  muy  importante  que  el  evaluador  este  compro- 
metido  teorica  y vitalmente  en  la  resolution  de  los  problemas  sociales,  situation  que 
no  siempre  es  un  hecho. 

Independientemente  del  nivel  de  aceptacion  de  esta  alternativa,  lo  que  si  debemos 
reconocer  es  que  ha  contribuido  decisivamente  a resaltar  dos  aspectos  realmente 
importantes  en  todo  proceso  evaluativo.  De  una  parte,  la  utilidad  de  las  evaluaciones 
debe  estimarse  en  funcion  de  las  mejoras  sociales  y la  mayoria  de  las  veces  estas  no  se 
producen  porque  no  se  toman  las  decisiones  pertinentes  que  se  derivan  de  los  infor- 
mes evaluativos.  De  otra,  para  que  las  evaluaciones  tengan  consecuencias,  es  preciso 
que  los  evaluadores  se  preocupen  por  maximizar  el  uso  de  los  resultados  de  sus  traba- 
jos  analizando  y neutralizando,  en  la  medida  de  lo  posible,  los  factores  politicos  y con- 
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textuales  que  impiden  que  los  sectores  implicados  tomen  las  decisiones  oportunas. 
Cuando  se  asume  el  rol  de  agente  de  cambio,  el  evaluador  no  puede  eludir  ambos  pro- 
blemas,  lo  cual  significa  que  no  puede  dar  por  concluido  su  trabajo  mientras  no  sean 
tangibles  las  consecuencias;  es  decir,  la  mejoras  generadas  a partir  de  la  evaluacion. 

Las  diferencias  entre  las  bases  teoricas  implfcitas  en  estas  tres  formas  de  conceptua- 
lizar  un  programa  social  son  evidentes.  De  ahf  que  existan  muchas  taxonomias  que 
utilizan  este  criterio  para  clasificar  los  distintos  enfoques  teoricos  y metodologicos  que 
se  aplican  en  los  procesos  evaluativos.  Entre  estas  clasificaciones  queremos  resaltar 
dos  que  nos  parecen  muy  pertinentes.  Por  un  lado,  la  propuesta  de  Stufflebeam  y 
Shinkfield  (1987)  que  agrupa  los  modelos  en  seudoevaluaciones,  cuasievaluaciones  y evalua- 
ciones  verdaderas  en  funcion  de  la  conception  y propositos  hacia  los  que  se  dirige  el 
proceso  evaluador.  De  otro,  la  que  recientemente  propone  Chelimsky  (1997)  que  clasi- 
fica  los  distintos  enfoques  teoricos  en  tres  grandes  perspectivas  de  acuerdo  con  la  fina- 
lidad  principal  que  orienta  la  evaluacion:  a)  estimar  los  resultados  y la  eficiencia  de  los 
programas  ( accountability  perspective),  b)  obtener  conocimientos  especificos  sobre  el 
programa  como  estrategia  de  intervention  ( knowledge  perspective ) y c)  contribuir  a 
mejorar  el  programa  para  incrementar  la  mejora  y el  desarrollo  social  ( development 
perspective ).  Utilizando  este  criterio  de  clasificacion,  este  ultimo  autor  establece  un  con- 
traste  entre  los  posicionamientos  de  estas  tres  perspectivas  respecto  a nueve  categorfas 
o dimensiones  que  habitualmente  utilizan  para  delimitar  los  supuestos  de  un  enfoque 
teorico. 

4.  LA  CONSTRUCCION  DEL  CONOCIMIENTO 

Independientemente  del  concepto  que  el  evaluador  tenga  sobre  el  programa,  la  pri- 
mera  fase  del  proceso  en  toda  evaluacion  es  la  «busqueda  de  informacion  tecnicamente 
apropiada  para  determinar  el  merito  o valor  del  objeto  que  vamos  a evaluar»;  es  decir,  la  bus- 
queda  de  «evidencias»  a partir  de  las  cuales  podamos  justificar  nuestras  valoraciones.  Asf 
pues,  cualquiera  que  sea  la  finalidad  que  oriente  el  proceso,  el  primer  objetivo  de  una 
evaluacion  es  obtener  informaciones  pertinentes,  validas  y fiables  que  actuen  como 
soporte  para  nuestros  juicios.  Elio  implica  que,  en  esta  busqueda,  debamos  conjugar 
dos  tipos  de  criterios  — utilidad  y rigor — que  no  siempre  se  tienen  en  cuenta.  Para 
ello,  el  evaluador  debera  reflexionar  sobre  el  tipo  de  conocimientos  que  necesita  sobre 
el  programa  y como  puede  proceder  para  su  construccion;  es  decir,  concretar  a que 
denomina  information  tecnicamente  apropiada»  y,  en  consecuencia,  como  va  a pro- 
ceder para  su  obtencion  e interpretation.  Ambas  cuestiones  estan  estrechamente  rela- 
cionadas  por  lo  que  las  ideas  previas  que  tiene  el  evaluador  sobre  las  cuestiones 
epistemologicas  seran  determinantes  a la  hora  de  tomar  estas  decisiones. 

4. 1 . Bases  teoricas  del  conocimiento 

Dado  que  existen  diversos  tipos  de  conocimientos  (causacion,  generalizacion,  pre- 
diction, description,  comprension,  etc.),  el  evaluador  se  vera  obligado  a justificar  cua- 
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les  van  a constituir  el  objeto  de  su  busqueda  ya  que,  en  cada  trabajo,  unos  pueden  ser 
mas  adecuados  que  otros.  La  predileccion  por  un  tipo  especifico  de  metodologia  solo 
puede  ser  justificada  a partir  de  los  supuestos  que  fundamentan  toda  teoria  del  conoci- 
miento;  es  decir,  las  bases  ontologicas,  epistemologicas  y metodologicas  que  sustentan 
la  evaluacion  de  programas  como  una  disciplina  inserta  en  el  marco  de  la  investigacion 
social  empfrica.  En  la  practica  es  habitual  especificar  los  planteamientos  metodologicos 
con  que  se  aborda  la  evaluacion  de  un  programa  pero  rara  vez  se  hace  mencion  alguna 
a las  concepciones  sobre  la  naturaleza  de  la  realidad  que  es  objeto  de  analisis  (bases 
ontologicas)  o sobre  los  fundamentos  para  la  construccion  del  conocimiento  cientifico 
(bases  epistemologicas).  Los  evaluadores  normalmente  consideran  que  abordar  estas 
cuestiones  es  algo  tangencial  a su  trabajo  por  lo  que  suelen  evitarlas. 

Esta  postura,  aunque  es  comprensible,  es  realmente  enganosa  ya  que  — como  sena- 
lan  Shadish,  Cook  y Leviton  (1991) — la  opcion  metodologica  elegida  por  un  evaluador 
implica  implicitamente  una  toma  de  postura  ontologica  y epistemologica.  Por  ello,  a efectos 
de  que  no  se  produzcan  graves  disfunciones  entre  lo  que  se  piensa  sobre  una  realidad 
(programa)  y lo  que  se  hace  en  la  practica  para  conocerla,  es  necesario  que  los  evalua- 
dores se  habituen  a explicitar  las  bases  teoricas  que  justifican  sus  planteamientos 
metodologicos;  es  decir,  a conectar  los  metodos  que  utilizan  con  los  parametros  teori- 
cos  que  consideran  pertinentes  para  la  construccion  del  tipo  de  conocimiento  — expli- 
cito  o tacito — que  esperan  obtener  a traves  del  proceso  evaluativo. 

En  la  practica  esta  situation  se  resuelve  acudiendo  a los  paradigmas  clasicos  que  se 
emplean  en  la  investigacion  social,  por  lo  que  habitualmente  se  utilizan  los  distintos 
supuestos  o principios  que  definen  cada  uno  de  ellos  para  justificar  los  distintos  enfo- 
ques  u modelos  evaluativos.  Ello  determina  que  con  frecuencia  se  hable  de  los  para- 
digmas positivista,  naturalista  y critico  — u otras  de  las  denominaciones  al  uso — 
aplicados  al  campo  de  la  evaluacion  de  programas  sin  previamente  reconceptualizar 
la  idoneidad  de  los  mismos  para  el  tipo  de  conocimiento  que  se  persigue  en  cada  caso 
y,  en  consecuencia,  sobre  los  metodos  a utilizar.  Entendemos  que  esta  extrapolation 
constituye  un  apriorismo  injustificado,  ya  que,  de  una  parte,  no  tiene  en  cuenta  que  en 
este  campo  no  existe  ningun  paradigma  que  resulte  intachable  — ya  que  los  problemas 
y dificultades  son  cuestiones  inherentes  a todos  ellos — y,  de  otra,  supone  abordar  el 
tema  de  la  diversidad  paradigmatica  desde  las  tesis  de  la  incompatibilidad  o comple- 
mentariedad,  al  margen  de  las  tendencias  actuales  sobre  la  unidad  (Walker  y Evers 
1988,  Howe  1992). 

Precisamente,  debido  a que  ninguno  de  los  paradigmas  clasicos  ofrece  unas  bases 
epistemologicas  plenamente  satisfactorias  al  tipo  de  conocimiento  que  requiere  esta 
realidad,  diversos  autores  tratan  de  promover  un  marco  teorico  adecuado  que  justifi- 
que  esta  disciplina  que  cada  dia  adquiere  mas  relieve.  Entre  los  esfuerzos  realizados 
en  esta  linea,  consideramos  muy  interesante  la  propuesta  reciente  de  un  «nuevo  marco 
paradigmatico»  orientado  hacia  la  explicacion  social  realista  (Pawson  y Tilley  1997) 
cuyos  supuestos  teoricos  se  enmarcan  en  la  tradition  que  situa  la  explicacion  cientifica 
entre  el  positivismo  y el  relativismo  (Hesse  1974,  Blaskar  1975,  Sayer  1984).  Avanzar  en 
esta  linea  nos  puede  aportar  un  marco  epistemologico  mas  adecuado  que  acudir  a los 
paradigmas  clasicos. 
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4.2.  Naturaleza  de  las  evidencias:  datos  y opiniones 

Ubicados  en  el  piano  del  realismo,  hemos  apuntado  que  el  primer  objetivo  de  todo 
proceso  evaluador  es  la  obtencion  de  «evidencias»  sobre  las  que  podamos  apoyar 
nuestros  juicios.  En  sentido  etimologico  se  dice  que  se  tiene  evidencia  de  algo  cuando 
se  tiene  certeza;  es  decir,  «cuando  la  information  que  disponemos  nos  ofrece  certidumbre 
manifiesta  y perceptible».  Ahora  bien,  en  los  procesos  evaluativos  recogemos  informa- 
ciones  de  distinta  naturaleza  y no  todas  nos  ofrecen  el  mismo  grado  de  certidumbre. 
En  unos  casos  son  datos  — cuantitativos  y cualitativos — obtenidos  a traves  de  proce- 
dimientos  sistematicos  — mas  o menos  rigurosos — que  nos  aportan  informaciones 
precisas  sobre  diversos  aspectos  del  programa.  En  otros  recabamos  las  opiniones  (per- 
ceptions, expectativas,  valoraciones,  etc...)  que  nos  manifiestan  el  concepto  o juicio 
que  formulan  sobre  diversos  aspectos  del  programa  las  audiencias  implicadas  en  el 
mismo. 

El  problema  radica  en  a que  tipo  de  informacion  le  atribuimos  la  categorfa  de  cono- 
cimiento  cierto,  valido  y fiable.  Algunos  evaluadores,  inmersos  en  la  logica  positivista, 
solo  aceptan  como  certezas  aquellos  datos  «objetivos»  que  han  sido  obtenidos  median- 
te  la  utilization  de  una  metodologia  cientffica  rigurosa.  Este  apriorismo  les  lleva  logi- 
camente  a centrar  toda  busqueda  de  informacion  sobre  procedimientos  metodologicos 
«duros»  en  los  que  se  garantiza  la  validez  interna  y externa  de  los  datos  obtenidos. 
Digamos  que  prevalecen  los  criterios  formales  a los  practicos,  independientemente  de 
su  adecuacion  para  la  evaluacion  del  diseno,  desarrollo  y mejora  de  un  programa  y de 
su  utilidad  para  las  audiencias  implicadas.  Con  frecuencia  un  tratamiento  y analisis 
sofisticado  de  los  datos  impide  que  los  resultados  y los  informes  de  una  evaluacion 
sean  comprensibles  para  aquellos  que  deben  tomar  decisiones  (Cook  y Reichardt  1986, 
Fetterman  y Pitman  1986). 

Frente  a ellos  situarfamos  a quienes  presentan  una  actitud  mas  pragmatica  al  consi- 
derar  que  el  rango  de  un  conocimiento  viene  determinado  por  su  utilidad,  lo  cual  sig- 
nifica  ante  todo  preguntarse  por  el  tipo  de  informacion  que  se  precisa  para  evaluar 
cada  fase  de  un  programa  y,  especialmente,  la  que  necesitan  los  clientes  y las  audien- 
cias implicadas  para  tomar  decisiones.  Cuando  se  adopta  este  punto  de  vista  resulta 
imprescindible  recabar  «otro  tipo  de  conocimientos»  construidos  fundamentalmente  a 
partir  de  datos  «subjetivos»  y hacerlo,  igualmente,  con  la  adecuada  metodologia  siste- 
matica  para  que  puedan  ser  considerados  como  evidencias  contrastadas.  De  hecho 
muchos  de  los  trabajos  evaluativos  a realizar  tienen  esta  finalidad:  estimar  el  parecer  o juicio 
sobre  el  programa  que  comparten  la  generalidad  de  personas  implicadas  en  el  mismo  (opinion 
publica). 

En  definitiva,  el  evaluador  debera  precisar  a que  tipo  de  conocimientos  les  atribuye 
la  categorfa  de  «evidencias».  Todos  sabemos  que  existen  muchas  clases  diferentes  de 
conocimientos  que  pueden  ser  objeto  de  nuestra  busqueda  solo  que,  en  cada  estudio  y 
fase  del  proceso  evaluativo,  se  pone  el  enfasis  sobre  un  determinado  tipo  o categorfa 
en  funcion  de  su  pertinencia  y oportunidad.  Elio  no  significa  que  unos  sean  mejores 
que  otros,  ya  que  todos  tienen  sus  ventajas  e inconvenientes.  Lo  aconsejable  es  abordar 
la  evaluacion  de  un  programa  integrando  distintas  informaciones  a partir  de  estudios 
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y metodos  diversos  que  nos  permitan  obtener  conocimientos  mas  completos,  fiables  y 
validos,  porque  «la  calidad  de  un  conocimiento  se  incrementa  en  la  medida  que  existe  un 
mayor  escrutinio  publico  sobre  el  mismo»  (Shadish,  Cook  y Leviton,  1991). 

4.3.  La  controversia  entre  deduccion  e induccion 

Partiendo  de  las  consideraciones  anteriores  facilmente  se  desprende  que  tan  opor- 
tunos  y adecuados  son  los  procedimientos  metodologicos  deductivos  como  los 
inductivos  para  la  obtencion  de  «evidencias».  En  los  casos  en  los  que  buscamos  com- 
probar  relaciones  entre  inputs  y outputs  u obtener  conocimientos  generalizables  es 
logico  que  procedamos  con  una  metodologia  deductiva  rigurosa  que  nos  facilite  una 
informacion  conclusiva  al  respecto.  Por  el  contrario,  si  el  proposito  no  es  generalizar 
una  estrategia  sino  analizar  y comprender  lo  que  sucede  en  cada  intervention  para 
contribuir  a mejorar  el  programa,  entonces  logicamente  resultara  mas  adecuado  lie- 
gar  al  conocimiento  por  via  inductiva  a partir  de  las  distintas  informaciones  e inter- 
pretaciones  que  nos  aporten  los  implicados.  No  cabe,  por  tanto,  contraponer  dos 
tipos  de  procedimientos  — verification  frente  a descubrimiento — porque  buscan 
cosas  diferentes. 

De  ahi  que  los  problemas  teoricos  que  conlleva  la  construction  del  conocimiento  en 
un  campo  tan  complejo  como  es  la  evaluation  no  se  resuelvan  senalando  que  se  opta 
por  tal  o cual  metodologia  cuantitativa  o cualitativa.  La  metodologia  a utilizar  es  la 
resultante  de  una  serie  de  decisiones  teoricas  que  previamente  hay  que  definir  y preci- 
sar  de  forma  explicita  si  queremos  justificar  nuestros  procedimientos.  Por  ello,  una  vez 
que  hemos  determinado  que  clase  de  conocimientos  se  necesitan  y por  que,  sera  el 
momento  de  proceder  a concretar  las  bases  teoricas  que  justifican  nuestros  metodos. 
Ello  nos  permitira  discernir  que  no  todos  los  metodos  son  aconsejables  para  un  mismo 
objetivo  y que  es  muy  importante  considerar  las  ventajas  e inconvenientes  de  cada 
uno  de  ellos  en  funcion  de  los  diferentes  propositos  que  pretendemos  alcanzar  con 
una  evaluacion.  Lo  cual  significa  que,  desde  el  punto  de  vista  epistemologico,  no  exis- 
te ninguna  primacia  de  unos  metodos  sobre  otros.  De  hecho,  una  de  las  principales  carac- 
teristicas  de  la  evaluacion  de  programas  es  que  sus  metodos  cubren  toda  la  gama  de  paradigmas 
que  dominan  en  la  investigacion  social  (Rossi,  Freeman  y Lipsey,  1999). 

Si  se  asume  esta  postura,  la  consecuencia  logica  es  que  no  cabe  enfrentar  o contra- 
poner las  metodologias  cuantitativas  y cualitativas  como  mas  o menos  idoneas  para  la 
evaluacion  de  programas  ya  que  todas  son  necesarias.  Las  caracteristicas  especificas 
de  los  programas  y de  los  procesos  que  conlleva  su  conceptualizacion,  diseno,  imple- 
mentacion  y evaluacion  nos  obliga  a considerar  fenonemos  de  naturaleza  distinta  y en 
contextos  diversos  para  cuyo  conocimiento  se  requieren  metodos  diferentes  en  cada 
caso,  por  lo  que  la  polemica  respecto  a los  paradigmas  metodologicos  queda  en  un 
segundo  piano  (Cook  y Reichardt  1986,  Fetterman,  Kaftarian  y Wandersman,  1996). 
De  ahi  que,  la  evaluacion  de  programas  constituya  actualmente  el  ambito  de  la  investigacion 
social  aplicada  en  el  que  se  hace  mas  patente  la  superacion  del  debate  entre  metodologia  cuanti- 
tativa y cualitativa,  lo  cual  significa  que  clasificar  los  modelos  evaluativos  segun  este  criterio 
carece  de  sentido  (Reichart  y Rallis  1994,  Cook  1997,  De  Miguel  1999). 
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5.  EL  PROBLEMA  DE  LOS  CRITERIOS  DE  VALOR 

La  evaluation  de  un  programa  no  se  limita  a una  mera  recolection,  analisis  e inter- 
pretation de  los  datos  para  obtener  «evidencias».  Una  vez  que  disponemos  de  la  infor- 
mation necesaria  comienza  la  siguiente  fase  del  proceso:  formular  los  juicios  de  valor.  A 
la  vista  de  los  datos  obtenidos  deberemos  emitir  nuestra  valoracion  de  forma  tiara,  pre- 
cisando  el  rango  y matices  de  los  juicios  (ausencia  o presencia  de  calidad;  puntos  fuertes 
y debiles,  recomendaciones  y propuestas,  etc..).  Ahora  bien,  para  proceder  a su  formulacion 
el  evaluador  se  encuentra  con  otro  probletna:  concretar  los  criterios  o marcos  de  referenda  que  va  a 
utilizar  para  emitir  sus  juicios.  Los  datos  obtenidos  sobre  un  programa  son  simplemente 
datos  — mas  o menos  probados — pero  su  valoracion  depende  del  criterio  elegido.  Preci- 
samente,  debido  a que  en  la  practica  no  existen  evaluaciones  libres  de  valores,  el  evalua- 
dor debera  especificar  en  cada  caso  los  criterios  que  utiliza  como  punto  de  referencia 
para  formular  sus  juicios  respecto  a los  distintos  aspectos  del  programa. 

Habitualmente  en  la  literatura  se  hace  la  distincion  entre  los  conceptos  de  merito  y 
valor  como  dos  marcos  de  referencia  distintos  — intrfnseco  y extrfnseco — a la  hora  de 
formular  los  juicios  (Guba  Lincoln,  1981,  1989,  Scriven  1991),  terminos  que  a su  vez 
nos  remiten  a otra  clasificacion  de  los  criterios  de  evaluation  en  dos  grandes  bloques: 
criterios  descriptivos  y criterios  prescriptivos  (Alkin  y Ellet,  1990).  Realizamos  una 
valoracion  descriptiva  cuando  se  elige  o asume  «valores  de  otros»  como  criterio  de 
referencia  para  emitir  los  juicios  sobre  el  programa.  Por  el  contrario,  denominamos 
una  valoracion  como  prescriptiva  cuando  es  el  propio  evaluador  el  que  define  los  cri- 
terios que  considera  adecuados  y correctos  para  emitir  los  juicios,  al  margen  de  que 
estos  sean  o no  coincidentes  con  los  que  defienden  otras  audiencias. 

Las  diferencias  entre  ambos  enfoques  se  perciben  facilmente.  Cuando  realiza  una 
valoracion  decriptiva  nuestro  papel  se  limita  a preguntarles  a los  demas  los  criterios  a 
utilizar  y aplicarlos  con  rigor  y correction.  En  cambio,  optar  por  una  valoracion  pres- 
criptiva exige  decantarse  por  unos  criterios  frente  a otros  lo  que  supone  previamente 
adoptar  una  postura  personal  ante  todas  las  cuestiones  relacionadas  con  los  valores 
que  se  ponen  en  juego  cada  programa.  En  el  primer  caso,  al  aceptar  los  objetivos  de  los 
demas  como  criterios  de  valoracion,  el  evaluador  puede  conservar  su  independencia  y 
mantenerse  al  margen  de  intereses  sectoriales.  En  el  segundo,  dado  que  no  existe  una 
teorfa  general  que  pueda  considerarse  correcta  sobre  la  valoracion  prescriptiva,  es 
muy  problematic©  que  un  evaluador  — especialmente  cuando  actua  como  externo — 
utilice  sus  propios  criterios  como  marcos  de  referencia  para  evaluar  un  programa  y 
que  estos  sean  aceptados  por  todas  las  partes  (Vedung,  1997). 

Por  esta  razon,  en  la  practica  de  las  evaluaciones  relativas  a programas  sociales  es 
mas  comun  utilizar  criterios  descriptivos  que  prescriptivos.  Aunque  estos  ultimos,  en 
tanto  que  defienden  la  primarfa  de  valores  absolutos  (igualdad,  justicia,  calidad  intrin- 
seca,  etc...)  cumplen  una  funcion  muy  importante  a lo  largo  de  todo  el  proceso  evalua- 
tivo,  son  realmente  las  teorias  descriptivas  las  que  nos  proporcionan  criterios  mas 
legftimos  y utiles  tanto  desde  el  punto  de  vista  social  como  tecnico  (Shadish,  Cook  y 
Leviton,  1991).  De  ahf  que  la  mayorfa  de  los  evaluadores  defiendan  la  utilization  de 
este  tipo  de  criterios  para  emitir  los  juicios  de  valor  sobre  los  programas. 
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No  obstante,  el  problema  no  concluye  al  senalar  que  se  asume  como  referenda  una 
valoracion  descriptiva  ya  que  los  «otros»  no  son  un  conjunto  homogeneo  sino  que  tie- 
nen,  o pueden  tener,  intereses  diversos  y,  en  ocasiones,  contrapuestos.  Necesitamos, 
por  tanto,  senalar  cual  es  la  perspectiva  valorativa  externa  que  utilizamos  para  emitir 
los  juicios;  es  decir,  especificar  el  criterio  que  elegimos  para  juzgar  que  un  programa  es 
«bueno».  En  este  sentido  cabe  considerar  que  existen  tres  grandes  opciones  para  el 
evaluador  segun  utilice  preferentemente  criterios  politicos,  democraticos  o tecnicos. 

5.1.  Criterios  politicos 

Todos  conocemos  que  la  mayoria  de  los  planes  y programas  de  intervencion  social 
estan  patrocinados  por  organismos  y servicios  publicos.  Elio  significa  que  tanto  su 
concepcion  como  el  diseno  y la  aplicacion  normalmente  responden  a determinados 
supuestos  ideologicos  e intereses  de  la  politica  que  los  sustenta.  Los  programas  consti- 
tuyen  formalmente  la  concrecion  de  unas  decisiones  politicas  respecto  a unas  priorida- 
des  en  materia  de  actuation  social,  lo  que  indudablemente  supone  apostar  por  un  tipo 
de  valores.  Esta  apuesta  no  solo  se  traduce  en  promover  un  determinado  tipo  de  pro- 
gramas sino  tambien  en  todas  las  decisiones  que  implica  la  selection  y priorizacion  de 
estas  estrategias,  especialmente  las  relativas  a la  redistribution  y asignacion  de  los 
recursos. 

Cabe,  por  tanto,  hablar  de  un  tipo  de  evaluation  que  asume  como  criterios  de  valo- 
racion los  objetivos  — politicos,  economicos,  sociales,  etc.. — que  se  proponen  alcanzar 
los  organismos  y agencias  que  patrocinan  los  diversos  programas.  El  evaluador,  en 
estos  casos,  acepta  los  valores  del  patrocinador  (gestores,  administradores,  empresa- 
rios,  etc...)  como  punto  de  referenda  para  emitir  sus  juicios  y asi  poder  facilitarle  la 
information  que  necesita  para  que  pueda  tomar  las  decisiones  pertinentes.  Este  hecho 
no  implica  en  modo  alguno  que  el  evaluador,  tanto  si  centra  su  tarea  sobre  los  objeti- 
vos cubiertos  como  sobre  los  recursos  empleados,  pierda  su  objetividad  convirtiendo 
su  trabajo  en  una  tarea  burocratica  al  servicio  de  un  estamento  politico.  Al  contrario, 
sus  analisis  y recomendaciones  pueden  cuestionar  tanto  los  criterios  que  inspiran  las 
politicas  publicas  como  las  acciones  desarrolladas  y,  en  consecuencia,  promover  cam- 
bios  intemos  importantes. 

5.2.  Criterios  democraticos 

Frente  a la  utilization  exclusiva  de  los  valores  de  los  «estamentos  politicos»,  cabe 
pensar  que  quienes  mejor  conocen  la  oportunidad  y efectividad  de  toda  estrategia  de 
intervencion  social  son  la  personas  directamente  implicadas  en  la  misma  por  lo  que 
sus  criterios  deben  constituir  un  marco  de  referencia  preferente  para  formular  los  jui- 
cios de  valor.  Al  margen  de  los  planteamientos  de  los  gestores,  debemos  considerar 
que  todas  las  personas  que  constituyen  las  audiencias  de  un  programa  generan  — en 
menor  o mayor  grado — una  serie  de  expectativas,  percepciones  y valoraciones  intrin- 
secas  que  es  necesario  tener  en  cuenta  a la  hora  de  emitir  las  valoraciones  sobre  su 
oportunidad  y eficacia.  Mas  aun,  en  tanto  que  es  algo  que  les  afecta  directamente,  no 
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solo  tienen  derecho  a ello  sino  que  no  podemos  prescindir  de  sus  criterios  para  valorar 
el  programa  (De  Miguel,  1995).  Cuando  el  evaluador  asume  este  marco  de  referenda 
dedmos  que  realiza  una  valoracion  descriptiva  pluralista  basada  en  criterios  democra- 
ticos. 

Ahora  bien,  para  que  el  evaluador  asuma  este  tipo  de  perspectiva  valorativa  es 
necesario  que  previamente  haya  enfocado  todo  el  proceso  evaluativo  de  forma  partici- 
pativa;  es  decir,  teniendo  en  cuenta  que  quienes  estan  directamente  implicados  en  un 
programa  son  los  que  deben  ser  los  actores  principals  de  su  evaluacion.  Los  argu- 
mentos  para  ello  estan  claros.  De  una  parte,  son  los  que  conocen  mas  de  cerca  la  reali- 
dad del  mismo  y,  por  tanto,  pueden  facilitarnos  informaciones  mas  pertinentes  e 
interesantes.  De  otra,  son  los  mas  implicados  en  las  consecuencias  y diffcilmente  se 
podran  poner  en  marcha  mejoras  si  ellos  no  participan  activamente  en  su  valoracion  y 
elaboration.  Todas  las  propuestas  y postulados  actuales  sobre  evaluacion  pluralista 
insisten  en  esta  lrnea:  la  oportunidad  y conveniencia  de  utilizar  criterios  democraticos  a la 
hora  de  disenar,  aplicar  y evaluar  cualquier  estrategia  de  intervencion  social  (Fetterman,  Kaf- 
tarian  y Wandersman  1996,  Floc'Hlay  y Plottu  1998,  Apodaca  1999). 

5.3.  Criterios  tecnicos 

En  una  position  intermedia  entre  la  polftica  y la  ciudadama  situarfamos  la  valora- 
cion tecnica;  es  decir,  aquella  que  lleva  a cabo  el  evaluador  mediante  la  aplicacion  de 
procedimientos  e instrumentos  cientfficos  apropiados.  Los  procesos  de  evaluacion 
conllevan  la  aplicacion  de  una  serie  de  reglas  y principios  sobre  estrategias  de  inter- 
vencion social  cuya  correcta  utilization  contribuye  a clarificar  tanto  la  adecuacion  de 
los  programas  como  la  calidad  de  sus  resultados  (Martin  1993,  Martin  y Kettner,  1996). 
Cuando  el  evaluador  asume  este  enfoque  utiliza  la  propia  teorfa  normativa  sobre  eva- 
luacion de  programas  como  criterio  o marco  de  referenda  a la  hora  de  formular  sus 
juicios  de  valor;  es  decir,  la  calidad  de  las  metas  propuestas,  la  coherencia  del  diseno 
efectuado,  la  adecuacion  de  los  procesos  de  implementation,  la  efectividad  de  los 
resultados  e impactos  generados  y la  oportunidad  y viabilidad  de  las  decisiones  toma- 
das  en  relation  con  los  procesos  de  mejora. 

No  obstante,  el  problema  no  se  resuelve  senalando  que  se  van  a utilizar  criterios  tec- 
nicos ya  que  supone  dejar  los  marcos  de  referenda  demasiado  abiertos.  De  ahf  que  el 
evaluador  deba  precisar  tambien  las  normas,  estandares  e indicadores  que  utilizara  en 
cada  trabajo  para  valorar  los  diferentes  aspectos  del  programa.  En  unos  casos  para  esta- 
blecer  estas  normas  podra  acudir  a references  nacionales  e intemacionales  al  uso  (estan- 
dares de  calidad,  normas  intemacionales,  protocolos  sobre  buenas  practicas,  etc..).  En 
otros  se  vera  obligado  a establecer  criterios  y elaborar  indicadores  que  le  permitan  obje- 
tivar  el  proceso  de  valoracion  y justificar  ante  las  audiencias  los  juicios  emitidos.  La  difi- 
cultad  que  entraha  esta  tarea  determina  que  sea  una  de  las  cuestiones  tecnicas  mas 
problematicas  y controvertidas  en  todos  los  procesos  evaluativos  (De  Miguel,  1991). 

Dado  que  cabe  utilizar  diferentes  perspectivas  valorativas  como  marco  de  referen- 
da para  formular  los  juicios,  se  pueden  igualmente  establecer  taxonomfas  evaluativas 
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utilizando  este  criterio  de  clasificacion.  Asf,  algunos  autores  hablan  de  modelos  descrip- 
tivos  y modelos  prescrip tivos  (Alkin  y Ellet,  1990),  y otros  de  evaluacion  burocratica,  auto- 
cratica  y democratica  (Mac  Donald,  1977).  Tambien  se  distingue  entre  modelos 
preordenados  o convencionales  y modelos  pluralistas  o participativos  segun  el  grado  de 
implicacion  de  las  audiencias  en  los  procesos  de  valoracion  (Lincoln  y Guba  1985, 
Guba  y Lincoln  1989,  Rebien  1997).  Ahora  bien,  independientemente  de  la  oportuni- 
dad  y adecuacion  de  estas  clasificaciones,  lo  que  si  debemos  constatar  es  que  el  cues- 
tionamiento  actual  de  criterios  politicos  y tecnicos  ha  generado  una  fuerte  tendencia  a 
favor  de  los  criterios  democraticos  que  se  manifiesta  en  todos  los  enfoques  evaluativos 
actuates  — evaluacion  pluralista,  evaluacion  participativa,  evaluacion  respondente,  evaluacion 
democratica,  cluster  evaluation,  empowerment  evaluation,  etc. — cuyo  denominador  comun 
se  caracteriza  por  concebir  el  trabajo  del  evaluador  como  un  compromiso  con  los  dere- 
chos  de  todas  las  partes  con  el  fin  de  contribuir  a la  education  cfvica,  el  desarrollo 
humano  y la  emancipation  social  (Fetterman  1994,  Smith  1998). 

6.  UTILIDADY  CREDIBILIDAD  DE  LOS  INFORMES 

Toda  evaluacion  debe  concluir  con  la  toma  de  decisiones  que  se  deriven  de  las 
valoraciones  formuladas.  Aunque  el  objetivo  inmediato  de  todo  proceso  es  ofrecer  jui- 
cios  razonados  para  la  toma  de  decisiones,  la  finalidad  ultima  de  toda  evaluacion  es 
lograr  que  tenga  consecuencias.  Precisamente,  porque  todos  esperamos  que  nuestro 
trabajo  sea  util  para  resolver  problemas  sociales,  el  evaluador  no  pueda  prescindir  del 
analisis  y explication  de  las  relaciones  que  existen  entre  los  resultados  y recomenda- 
ciones  que  emite  en  sus  informes,  las  decisiones  que  se  toman  al  respecto  y las  conse- 
cuencias que  estas  tienen  socialmente.  No  preocuparse  por  estas  cuestiones  pone  en 
tela  de  juicio  la  credibilidad  de  nuestro  trabajo.  Por  ello,  la  reflexion  teorica  que  conlle- 
va  el  diseno  y aplicacion  de  una  estrategia  evaluativa  debe  abarcar  tambien  el  analisis 
de  los  factores  — como,  cuando,  donde,  para  que — , que  condicionan  la  utilizacion 
posterior  de  los  resultados  que  se  aportan  en  los  informes  (Rebien  1997,  Chelimsky 
1997). 

Ahora  bien,  abordar  el  tema  de  como  se  puede  maximizar  el  uso  de  los  informes 
evaluativos  ( knowledge  use)  no  una  tarea  facil  ya  que  son  multiples  los  problemas  y fac- 
tores implicados.  No  obstante,  cabrfa  agrupar  esta  problematica  en  torno  a cuatro  pre- 
guntas  o interrogantes  fundamentales:  iQue  clases  o tipos  de  usos  pueden  tener 
nuestros  informes?,  ^Quienes  son  los  usuarios  potenciales  de  los  mismos?,  <j,Que  papel 
puede  jugar  el  informe  para  estos  usuarios?,  ^Cuales  son  los  factores  politicos  y con- 
textuales  que  pueden  dificultar  la  utilizacion  de  los  resultados?  Efectuaremos  algunos 
comentarios  sobre  estas  cuatro  cuestiones. 

6.1.  Posibles  usos  del  Informe 

Abordar  el  tema  de  la  utilidad  o usos  del  informe  nos  remite  nuevamente  a la  fina- 
lidad que  promueve  y orienta  todo  el  trabajo  evaluativo,  ya  que  entre  ambas  cuestio- 
nes existe  una  mutua  implicacion.  Como  ya  hemos  comentado,  existen  propuestas 


3u0 


La  evaluation  de  programas  sociales:  fundamentos  y enfoques  teoricos 


303 


diferentes  en  relation  a los  fines  de  una  evaluation  aunque,  tomando  como  referentia 
los  usos,  se  podrfan  agrupar  las  diversas  altemativas  eh  dos  bloques:  a)  los  que  entien- 
den  que  la  finalidad  primordial  de  una  evaluation  es  la  busqueda  de  «observaciones  y 
explicaciones  generalizables»  mediante  la  utilization  de  procedimientos  cientificos 
rigurosos  y b)  los  que  consideran  que  lo  verdaderamente  importante  es  facilitar  a 
todos  los  implicados  la  information  que  necesitan  para  tomar  decisiones  (stakeholders 
services).  En  el  primer  caso  se  conciben  el  informe  evaluativo  de  forma  similar  al  de 
una  investigation  por  lo  que  los  problemas  de  difusion,  diseminacion  y utilization  de 
los  conotimientos  son  muy  afines  a los  que  suceden  en  otras  distiplinas  sociales  y que 
se  conocen  a traves  de  la  literatura  espetializada  (Keeves,  1988).  En  el  segundo,  dado 
que  cada  evaluation  de  un  programa  es  una  tarea  singular,  el  evaluador  se  ve  obligado 
plantearse  en  cada  proyecto  cual  puede  ser  la  utilizacion  posterior  o usos  posibles  que 
puede  tener  la  information  que  se  aporta  en  los  informes.  Al  respecto,  las  demandas  y 
usos  mas  frecuentes  que  se  hacen  de  los  informes  evaluativos  son  los  siguientes:  para 
tomar  decisiones,  identificar  problemas,  inducir  acciones  y justificar  decisiones  (Braskamp  y 
Brown  1980,  Ewell  1989). 

6.2.  Identificar  los  usuarios  potenciales  de  la  information 

Precisamente  porque  entendemos  que  la  finalidad  prioritaria  en  toda  evaluation 
de  programas  es  facilitar  a las  audiencias  la  information  que  necesitan,  consideramos 
que,  inicialmente,  el  evaluador  debera  identificar  quienes  son  los  usuarios  potenciales 
de  su  trabajo  ya  que  de  ello  dependen  los  tipos  de  usos  que  pueden  tener  sus  infor- 
mes. Debera  tener  en  cuenta,  ademas,  que  aunque  los  trabajos  sean  objeto  de  contrato 
no  significa  en  modo  alguno  que  los  informes  tengan  utilidad  solamente  para  los 
clientes.  De  ahf  que  una  de  las  primeras  cuestiones  para  enfatizar  la  utilizacion  de  los 
resultados  sea  la  identification  de  los  usuarios  potenciales  de  nuestro  trabajo  con  el  fin 
de  ofrecerles  la  information  que  necesitan,  lo  que  implica,  previamente,  analizar  los 
problemas  espedficos  que  se  dan  en  cada  contexto  y programa:  audiencias  implicadas, 
las  posibilidades  que  tienen  de  acceso  a la  information,  tipos  de  informes  a elaborar, 
etc..  En  toda  evaluation  existen  muchos  «implicados»  que,  en  mayor  o menor  medida, 
pueden  hacer  uso  de  los  informes  siempre  que  estos  les  ofrezcan  informationes  opor- 
tunas  y asequibles  Aunque  algunos  esten  mas  comprometidos  que  otros  en  los  proce- 
sos  de  toma  de  decisiones  ello  no  significa  que  los  trabajos  no  les  sean  utiles.  En  la 
medida  que  hacemos  llegar  informes  adecuados  a todas  las  partes  implicadas  en  un 
programa  — gestores,  administradores,  agencias,  instituciones,  cientificos,  tecnicos, 
implicados,  ciudadanos,  etc. — incrementamos  las  posibilidades  de  que  nuestro  traba- 
jo tenga  mas  consecuentias. 

6.3.  Clarificar  el  nivel  de  operatividad  del  informe 

Ademas  de  identificar  los  usuarios  potenciales  de  nuestro  trabajo  tambien  tenemos 
que  planteamos  el  papel  que  va  jugar  el  propio  informe  en  los  procesos  de  toma  de 
decisiones.  Aunque  existen  muchas  propuestas  al  respecto,  siguiendo  a Shadish,  Cook 
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y Leviton  (1991),  cabe  establecer  tres  tipos  de  planteamientos  donde  los  informes  se  utilizan 
con  criterios  diferentes:  instrumental,  conceptual  y persuasivo.  Se  considera  que  un  informe 
es  instrumental  cuando  los  resultados  obtenidos  se  utilizan  de  forma  directa  para 
tomar  decisiones  sobre  el  programa.  Se  considera  como  informe  conceptual  aquel 
cuyas  valoraciones  no  suelen  ser  utilizadas  como  soporte  para  decidir  cambios  pero 
que,  indirectamente,  influyen  sobre  como  perciben  y valoran  las  personas  las  interven- 
ciones  sociales.  Finalmente  se  entiende  que  el  informe  cumple  una  funcion  persuasiva 
cuando  las  evaluaciones  son  utilizadas  para  convencer  a las  audiencias  que  tienen  esti- 
maciones  apriorfsticas  sobre  los  programas  de  que  la  evaluacion  es  el  proceso  correcto 
para  valorar  cualquier  estrategia  de  intervention.  Precisar  estas  cuestiones  previamen- 
te  no  solo  nos  ayudara  a elaborar  informes  mas  operativos  y utiles  desde  el  punto  de 
vista  practico  sino  tambien  a conceptualizar  la  funcion  o papel  que  le  otorgan  a nues- 
tro  trabajo  las  partes  implicadas  en  una  evaluacion.  Con  el  fin  de  evitar  confusiones, 
algunas  de  estas  cuestiones  deben  quedar  explfcitas  en  el  protocolo  que  se  elabore  en 
la  fase  de  negotiation  de  proyecto. 

6.4.  Elaboracion  y difusion  adecuada  de  los  informes 

Finalmente,  para  maximizar  el  uso  de  los  informes  tambien  debemos  considerar 
otros  problemas  que  tienen  que  ver  con  el  proceso  de  elaboracion  y difusion  de  los 
resultados.  Respecto  a la  elaboracion,  el  evaluador  debera  preocuparse  de  facilitar  a 
cada  audiencia  la  information  precisa,  con  datos  que  pueda  facilmente  interpretar  y 
con  un  lenguaje  adecuado.  De  ahf  que  en  este  campo  no  sea  oportuno  utilizar  tecnicas 
de  tratamiento  y analisis  de  datos  complejas  cuyos  resultados  son  dificiles  de  valorar 
salvo  para  especialistas.  Los  problemas  de  la  difusion  generalmente  depende  de  facto- 
res  de  orden  politico  que  se  generan  en  cada  contexto  de  forma  especial.  En  ocasiones, 
quienes  encargan  la  evaluacion  se  aduenan  del  informe  y solo  lo  difunden  en  la  medi- 
da  que  beneficia  a sus  intereses.  En  el  sentido  opuesto  situarfamos  los  planteamientos 
que  consideran  que  todos  los  informes  deben  ser  difundidos  en  terminos  inteligibles 
para  todas  la  audiencias  con  el  fin  de  que  todos  puedan  participar  y valorar  tanto  la 
utilization  que  se  hace  de  los  resultados  como  de  las  decisiones  que  se  toman  al  res- 
pecto. Aunque  las  posibilidades  del  evaluador  al  respecto  son  bastante  limitadas,  ello 
no  significa  que  no  deba  tener  en  cuenta  estos  problemas  (McLaughlin  y McLaughlin 
1989,  Wholey,  Hatry  y Newcomer  1994). 

En  resumen,  aunque  inicialmente  la  utilidad  de  una  evaluacion  depende  de  los  pro- 
positos,  audiencias  e intereses  en  funcion  de  los  cuales  se  establece,  en  la  practica  son 
los  procesos  de  toma  decisiones  los  que  determinan  finalmente  las  consecuentias  que 
tiene  cada  proceso.  Por  ello,  la  tarea  del  evaluador  no  concluye  con  la  elaboracion  del 
informe  sino  que  debe  reflexionar  sobre  los  problemas  que  genera  su  utilization  para 
que  tenga  consecuentias.  Asumir  esta  perspectiva  implica  cuestionar  no  solo  que  infor- 
mation necesitan  quienes  deben  tomar  decisiones  (evaluacion  orientada  a la  decision) 
sino  tambien  la  que  deben  conocer  todos  los  implicados  (evaluacion  orientada  al  usua- 
rio).  No  es  lo  mismo  pensar  que  las  decisiones  dependen  de  los  gestores  y administra- 
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dores  de  los  programas  que  involucrar  tambien  a las  audiencias,  clientes  e implicados. 
Tampoco  es  igual  que  el  informe  aporte  datos  concluyentes  en  terminos  tecnicos  o se 
faciliten  informaciones  y recomendaciones  adecuadas  a las  diversas  audiencias.  Facil- 
mente  se  advierte  que  la  utilidad  de  una  evaluation  es  mayor  en  la  medida  que  tienen 
posibilidad  de  acceso  a la  information  todos  los  sectores  implicados. 

De  lo  cual  se  deduce  que  el  problema  de  la  utilidad  y usos  de  los  informes  es  una 
cuestion  compleja  que  depende  de  factores  diversos  (identification  de  usuarios  poten- 
ciales  de  los  informes,  claridad  de  los  resultados,  analisis  de  las  altemativas,  procesos 
de  toma  de  decisiones,  etc..),  que  necesitan  ser  analizados  con  cierto  detalle  para  evitar 
obstaculos  que  impiden  su  utilization.  De  ahi  que,  durante  los  ultimos  anos,  hayan 
aparecido  diversas  corrientes  y enfoques  metodologicos  que  centran  su  preocupacion 
sobre  las  consecuencias  de  los  informes:  decision-oriented  evaluation  (Stufflebeam  y al., 
1971),  utilization-focused  evaluation  (Patton,  1978)  stakeholder-based  evaluation  (Bryk, 
1983),  beyond  decision-oriented  evaluation  (Sheerens,  1987),  outcomes-based  evaluation 
(Schalock,  1995),  etc..  Aunque  estos  enfoques  presentan  entre  ellos  matices  distintos,  el 
denominador  comun  de  todos  ellos  es  la  necesidad  de  abordar  los  procesos  evaluati- 
vos  teniendo  en  cuenta  que  la  credibilidad  del  evaluador  se  halla  comprometida  por  la 
utilidad  y usos  que  se  derivan  de  sus  informes. 

7.  DELIMITACION  DEL  ENFOQUE  METODOLOGICO 

Al  iniciar  el  presente  trabajo  hemos  distinguido  entre  fundamentos  y enfoques  eva- 
luativos  como  dos  terminos  relativos  a la  evaluacion  del  programa  que  tienen  un  sig- 
nificado  diferente.  Tambien  hemos  dicho  que  los  evaluadores  suelen  ocuparse  mas  de 
precisar  los  segundos  que  los  primeros  por  lo  que  hemos  considerado  oportuno  abor- 
dar algimos  conceptos  relacionados  con  los  fundamentos  porque,  desde  nuestro  punto 
de  vista,  estos  deben  ser  objeto  de  reflexion  antes  de  optar  por  un  determinado  enfo- 
que  metodologico.  La  election  de  una  aproximacion  o enfoque  espedfico  no  se  limita  a 
una  simple  distincion  entre  metodologfa  cuantitativa  y cualitativa  ya  que  supondrfa 
una  simplification  absurda  de  una  realidad  compleja  que  tiene  muchos  matices  y 
requiere  ser  abordada  de  forma  comprensiva. 

En  la  practica,  la  determination  de  un  enfoque  metodologico  ( approach ) se  conoce 
como  la  election  del  modelo  y el  diseno  de  una  evaluacion.  Cuando  hablamos  de 
«modelo»  hacemos  referencia  a la  forma  o modo  de  abordar  y representar  la  conceptua- 
lization teorica  del  programa  que  consideramos  oportuna  para  llevar  a cabo  su  evalua- 
tion una  vez  que  hemos  analizado  los  supuestos  o fundamentos  teoricos  que  justifican 
esta  actividad:  naturaleza  del  programa,  la  finalidad  que  nos  proponemos,  audiencias 
implicadas,  information  necesaria,  metodologfa  a utilizar,  criterios  de  evaluacion,  utili- 
dad o usos  de  los  resultados,  etc.  Por  el  contrario,  el  termino  «diseno»  alude  al  proceso 
que  deberemos  seguir  para  obtener  las  informaciones  que  reunan  la  categoria  de  «cer- 
tezas».  El  objetivo  de  los  modelos  es  lograr  una  representacion  teorica  sobre  los  feno- 
menos  a investigar  y los  procesos  a realizar  que  sea  coherente  y adecuada  a la 
naturaleza  del  programa  y los  propositos  de  nuestro  trabajo.  La  finalidad  de  los  disenos 
es  suministrar  a los  investigadores  una  logica  cientffica  que  aporte  validez  tanto  a los 
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procesos  de  evaluation  como  a los  resultados.  Asf  pues,  mientras  que  el  modelo  alude 
al  marco  teorico  que  justifica  el  enfoque  que  hemos  elegido  para  evaluar  un  programa, 
el  diseno  hace  referenda  a la  estrategia  metodologica  que  vamos  a utilizar  para  que  los 
datos  obtenidos  puedan  ser  considerados  como  evidencias  (De  Miguel,  2000). 

7.1.  La  election  del  modelo  evaluativo 

Al  igual  que  sucede  en  toda  investigation  social,  la  election  de  un  modelo  para 
evaluar  un  programa  implica  tomar  detisiones  sobre  una  serie  de  cuestiones  teoricas 
relativas  al  tipo  de  estrategia  — programa — que  se  pretende  evaluar,  las  bases  episte- 
mologicas  que  justifican  la  construction  de  los  conocimientos,  los  criterios  de  valora- 
cion  y la  finalidad  o usos  que  justifican  la  evaluation.  Las  preguntas  claves  que  se 
debe  formular  un  evaluador  antes  de  decidir  el  marco  teorico  en  el  que  va  a situar  su 
trabajo  son  las  siguientes:  ^Que  quiero  saber  o que  quiere  saber  el  cliente  que  me 
encarga  la  evaluation  en  relation  con  el  programa?  ^De  que  tipo  de  programa  estamos 
hablando?,  ^Que  pretende  hacer  y/o  decidir  el  cliente  respecto  al  programa  objeto  de 
estudio?  ^Que  tipo  de  information  necesito?  ^Cuales  son  los  procedimientos  idoneos 
para  su  obtencion?  ^Cual  es  el  papel  que  voy  a desempenar?,  etc...  Las  respuestas  a 
estas  cuestiones  son  las  que  realmente  determinan  el  enfoque  o aproximacion  metodo- 
logica y,  en  consecuencia,  las  tacticas  y estrategias  que  justifican  un  proceso  evaluativo 
que  debemos  adoptar. 

7.1.1.  Finalidad  del  estudio  evaluativo 

El  primer  paso  para  elegir  un  modelo  evaluativo  es  identificar  los  fines  que  se  pre- 
tenden  alcanzar.  La  identification  de  los  fines  se  puede  realizar  mediante  dos  procedi- 
mientos: segun  el  tipo  de  funcion  que  persiguen  los  estudios  y de  acuerdo  con  los 
objetivos  concretos  que  se  plantean.  Respecto  a lo  primero,  actualmente  se  considera 
que  los  procesos  evaluativos  se  orientan  a una  de  estas  tres  funtiones  basicas:  la  rendi- 
tion de  cuentas  ( accountability ),  la  mejora  de  los  programas  ( development ) y el  incremen- 
to  de  conocimientos  respecto  al  mismo  ( knowledge ) (Chelimsky,  1997).  Desde  el  punto 
de  .vista  de  los  objetivos  los  printipales  propositos  que  determinan  la  petition  de  proce- 
sos evaluativos  se  pueden  agrupar  en  tres  grandes  bloques,  a saber:  a)  Comprobar  si  los 
objetivos  de  los  programas  han  sido  alcanzados,  b)  Recabar  opiniones  fundamentadas 
sobre  la  valoracion  que  hacen  del  programa  las  audientias  implicadas,  y c)  Obtener 
informaciones  cualificadas  a partir  de  las  cuales  se  pueda  tomar  decisiones  sobre  el 
futuro  de  un  programa  espedfico  (Vedung  1997).  A estas  tres  altemativas  se  anade  una 
cuarta  mando  el  objetivo  es  estimar  la  relation  entre  los  recursos  empleados  y los  resul- 
tados obtenidos  (coste-efectividad,  coste-benefitio)  que  da  lugar  a los  modelos  econo- 
micos  (Lewin  1983,  Drummond,  Stoddart,  y Torrance  1991,  Nas  1996). 

El  evaluador  debera  precisar  cual  o cuales  son  los  propositos  concretos  que  real- 
mente promueven  cada  trabajo  con  el  fin  de  adoptar  un  marco  teorico  adecuado.  Aun- 
que  ciertamente  cada  persona  puede  generar  una  comprension  «peculiar»  de  los 
intereses  de  los  patrocinadores  y las  necesidades  de  los  clientes  y,  en  consecuencia. 
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establecer  con  libertad  los  parametros  teoricos  que  considera  apropiados  para  enfocar 
el  proceso  evaluativo,  procede  senalar  que  «el  modelo  a utilizar  depende  del  tipo  de 
informacion  que  se  solicita  y que  el  evaluador  debe  ajustar  su  eleccion  a la  finalidad 
que  justifica  el  encargo».  En  otros  terminos,  los  modelos  deben  ser  elegidos  en  funcion 
de  los  propositos  del  estudio. 

7. 1.2.  Concretion  de  los  parametros  del  modelo 

Una  vez  que  hemos  concretado  los  fines  procede  delimitar  el  resto  de  dimensiones, 
factores  y variables  que  intervienen  en  la  determinacion  y representacion  de  un  mode- 
lo. Como  ya  hemos  comentado  en  otro  momento  (De  Miguel,  1989),  para  que  un 
modelo  pueda  servir  de  guia,  ademas  de  estar  fundamentado  sobre  una  teoria,  necesi- 
ta  concretar  los  fenomenos  que  intervienen  y las  relaciones  que  se  establecen  entre  los 
mismos.  Exige,  ademas,  especificar  operacionalmente  las  variables  con  el  fin  de  probar 
la  validez  empirica  del  modelo  y la  posibilidad  de  generalizar  su  aplicacion.  En  el  caso 
de  la  evaluacion  de  un  programa  conlleva,  ademas,  una  toma  de  postura  sobre  el 
papel  de  los  valores  y rol  que  el  evaluador  va  a desempenar  ante  todos  los  factores 
implicados  en  el  proceso  a los  que  hemos  aludido  anteriormente. 

Asi  pues,  una  vez  clarificada  la  finalidad  y antes  de  tomar  una  opcion  metodologi- 
ca,  el  evaluador  debera  reflexionar  y explicitar  los  distintos  supuestos  o fundamentos 
que  adopta  en  cada  caso  concreto  y que  constituyen  los  determinantes  inmediatos  en 
la  eleccion  de  modelo.  A la  vista  de  la  literatura  (Shadish,  Cook  y Leviton  1991,  Rebien 
1997),  no  existe  consenso  entre  los  au tores  sobre  cuales  deben  ser  los  factores  o dimen- 
siones que  se  consideran  basicas  para  la  construccion  de  un  modelo  evaluativo,  como 
paso  previo  para  su  especificacion.  Nuestra  propuesta  al  respecto  es  que,  al  menos,  se 
deben  considerar  los  parametros  que  hemos  abordado  anteriormente,  a saber:  la  con- 
cep  tualizacion  del  programa  como  estrategia  de  intervention  social,  las  bases  epistemologicas 
que  determinan  la  construction  de  los  conocimientos,  el  tipo  de  criterios  a utilizar  para  la 
formular  los  juicios  de  valor,  la  utilidad  o usos  de  que  pueden  tener  los  informes  y el  papel  a 
desempenar  por  el  evaluador  a lo  largo  del  proceso.  Consideramos  que  estas  dimensiones 
aglutinan  las  variables  o caracterfsticas  mas  importantes  a partir  de  las  cuales  se  puede 
definir  un  modelo  evaluativo 

7.1.3.  Utilization  de  las  taxonomias 

Generalmente  los  evaluadores  no  construyen  un  modelo  especifico  para  cada  eva- 
luacion sino  que  utilizan  como  marco  de  referencia  alguno  de  los  que  ya  estan  formali- 
zados  en  algunas  de  las  taxonomias  al  uso  (MacDonald  1977,  House  1980,  Guba  y 
Lincoln  1981,  Madaus,  Scriven  y Stufflebeam  1983,  Worthen  y Sanders  1987,  Stufflebe- 
am  y Shinkfield  1987,  Stake  y Mabry  1997,  etc...).  El  problema  que  presentan  estas 
taxonomias  es  que  estan  elaboradas  con  distintos  criterios  de  clasificacion  que  impi- 
den  cotejar  y contrastar  las  distintas  categorias  que  establecen.  La  eleccion  de  una  u 
otra  como  marco  de  referencia  ya  implica  una  toma  de  postura  del  evaluador  que  si  no 
se  hace  de  forma  razonada  puede,  en  principio,  generar  incoherencias  al  no  existir 
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correspondencia  entre  los  supuestos  teoricos  del  modelo  elegido  y el  tipo  de  evalua- 
tion que  procede  realizar  en  funcion  de  la  finalidad. 

Entre  estas  taxonomfas  nos  interesa  destacar  de  forma  especial  la  propuesta  por 
Stecher  y Davis  (1991)  ya  que  — desde  nuestro  punto  de  vista — nos  parece  realmente 
util  pues  no  solo  tiene  en  cuenta  como  criterio  de  clasificacion  la  finalidad  de  la  eva- 
luation sino  que  tambien  utiliza  para  su  elaboration  dimensiones  muy  semejantes  a 
las  que  nosotros  proponemos:  la  naturaleza  del  programa,  las  preguntas  o cuestiones 
basicas  a resolver,  la  information  que  necesitamos,  el  eje  o nucleo  sobre  el  que  se  cen- 
tra el  proceso  y el  rol  que  el  evaluador  desempena  en  el  proceso.  A partir  de  estos  cri- 
terios,  estos  autores  agrupan  los  modelos  evaluativos  en  cinco  enfoques  —experimental, 
dirigido  a metas,  orientado  a las  decisiones,  centrados  sobre  los  clientes  y respondente—  que 
pueden  ser  considerados  como  arquetipos  representativos  de  las  diversas  opciones  o aproxima- 
ciones  metodologicas  que  se  pueden  plantear  a la  bora  de  abordar  la  evaluacion  de  un  progra- 
ma. Desde  nuestro  punto  de  vista,  esta  clasificacion  de  los  modelos  nos  parece 
realmente  interesante  y util  como  ya  hemos  comentado  en  otro  momento  (De  Miguel, 
2000). 

7.2.  La  election  del  diseno  y los  metodos 

Una  vez  que  hemos  decidido  el  enfoque  o modelo  que  vamos  a asumir  para  llevar 
a cabo  la  evaluacion  procede  establecer  el  diseno;  es  decir,  «la  estrategia  o plan  que 
vamos  a seguir  donde  se  especifica  la  secuencia  de  decisiones  acerca  de  como  recoger, 
ordenar  y analizar  los  datos  en  funcion  de  los  fines  de  programa»  (Anguera,  1992).  De 
ahi  que  el  termino  «diseno»  se  utilice  como  sinonimo  de  plan  o estrategia  metodologi- 
ca  que  orienta  el  proceso  evaluativo,  lo  cual  implica  realizar  una  planificacion  detalla- 
da  sobre  los  aspectos  o dimensiones  del  objeto  a evaluar  que  vamos  a considerar,  los 
procedimientos  que  vamos  a utilizar  para  recabar  y analizar  la  information  pertinente, 
y los  sistemas  a emplear  para  dar  validez  a las  informaciones  que  van  a sustentar  los 
juicios  de  valor  que  se  formulen. 

A1  igual  que  sucede  con  los  modelos,  tambien  podemos  utilizar  diversos  criterios  a 
la  hora  de  clasificar  los  disenos  evaluativos  (Ruttman  1984,  Fitz-Gibbon  y Morris  1987, 
Rossi  y Freeman  1989,  Scriven  1991).  Entre  estos  criterios  queremos  destacar  los  tres 
que  se  utilizan  con  mas  frecuencia: 

7.2.1.  En  funcion  de  enfoque  teorico  adoptado 

Utilizando  este  criterio  los  disenos  se  suelen  clasificar  de  forma  dicotomica  en  fun- 
cion de  que  el  marco  de  la  planificacion  se  establezca  tomando  como  referencia  la  eva- 
luation de  los  efectos  del  programa  o el  significado  que  este  ha  tenido  para  los 
implicados.  Esta  es  la  postura  de  adoptan  algunos  autores  (Guba  y Linclon  1981,  Cron- 
bach  1982,  Patton  1987,  Rebien  1997)  al  plantear  dos  tipos  de  disenos  frontalmente 
opuestos  — preordenado  y respondente — como  representativos  de  dos  formas  diferentes 
de  abordar  los  procesos  evaluativos  relativos  a los  programas  sociales.  Una  evaluacion 
preordenada  parte  de  un  modelo  teorico  formalizado  que  se  especifica  mediante  un 
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plan  en  el  que  se  detallan  todos  los  elementos  del  proceso:  objetivos,  audiencias,  infor- 
mation necesaria,  instrumentos,  fuentes,  tecnicas  de  analisis,  criterios  de  comparacion, 
etc.  Por  el  contrario,  la  evaluacion  respondente  se  caracteriza  por  partir  de  marco  teo- 
rico  flexible  que  busca  las  valoraciones  de  las  personas  implicadas  en  el  programa 
para  lo  cual  es  necesario  efectuar  una  planificacion  emergente  que  se  pueda  recondu- 
cir  en  cada  etapa  del  proceso  en  funcion  de  las  observaciones  que  se  deduzcan  de  la 
etapa  anterior. 

7.2.2.  El  sistema  de  control  que  permitan  las  variables  del  programa 

Desde  un  punto  de  vista  metodologico  estricto,  el  concepto  de  diseno  alude  a la 
«estrategia  mediante  la  cual  se  pretende  probar  el  efecto  de  una  o mas  variables 
manipuladas»;  es  decir,  un  plan  que  nos  permita  constatar  los  efectos  de  las  interven- 
ciones  promovidas  mediante  un  programa.  De  ahi  que  cuando  se  utiliza  el  concepto 
de  diseno  con  terminologia  positivista,  su  ordenacion  y clasificacion  se  establece  a 
partir  de  los  tres  requisitos  o condiciones  que  debe  reunir  todo  experimento,  a saber: 
aleatorizacion  de  los  sujetos,  manipulation  de  la  variable  independiente  y grupo  de 
control.  Si  trasladamos  estos  requisitos  a la  metodologia  de  evaluacion  de  programas, 
los  disenos  evaluativos  puede  ser  clasificados  en  cuatro  grandes  grupos  en  funcion 
del  grado  o nivel  de  garantia  con  que  se  cumplen  estos  requisitos.  Asi,  de  acuerdo  con 
Anguera  (1992,  1995),  los  estudios  evaluativos  se  pueden  clasificar  en  funcion  de  la 
metodologia  utilizada  en  los  siguientes  tipos:  observacionales,  selectivos,  cuasiexperi- 
mentales  y experimentales.  Consideramos  que  a esta  clasificacion,  aunque  es  muy  com- 
prensiva,  se  deberia  anadir  la  metodologia  centrada  sobre  costos-beneficios,  cuyos 
disenos  se  utilizan  cuando  la  finalidad  del  proceso  se  orienta  a estimar  la  eficiencia 
del  programa. 

7.2.3.  El  sistema  de  control  que  se  utiliza  sobre  la  information  recabada 

Finalmente  elegir  un  diseno  implica  determinar  el  procedimiento  mediante  el  cual 
vamos  a contrastar  la  information  que  recabamos  sobre  el  programa  — global  o par- 
cialmente — a fin  de  obtener  las  evidencias  necesarias.  Para  ello  no  solo  cabe  recurrir  a 
los  procedimientos  propios  de  los  estudios  experimentales  sino  que  tambien  existen 
otros  sistemas  de  control  que  — aunque  no  sean  tan  potentes — pueden  ser  mas  ade- 
cuados  y oportunos  para  ser  utilizados  en  determinadas  fases  y/o  tipos  de  programas. 
En  esta  linea  positivista,  algunos  autores  (Rossi  y Freeman,  1989)  clasifican  los  disenos 
utilizando  como  criterios  la  existencia  de  grupo  de  control  y el  procedimiento  utiliza- 
do  para  ello.  Asi  hablan  de  disenos  comparativos  o de  cobertura  parcial  mediante  con- 
troles  aleatorios,  construidos  y estadisticos,  y disenos  no  comparativos  o cobertura 
total  que  utilizan  controles  genericos,  reflexivos  y en  la  sombra.  Desde  enfoques  parti- 
cipativos  los  sistemas  de  control  no  se  fundamentan  tanto  en  la  estructura  del  diseno 
como  en  las  tecnicas  (juicios  de  expertos,  comisiones  ad  hoc,  triangulacion,  etc..)  que 
se  utilizan  para  contrastar  y consensuar  la  information  procedente  de  las  diversos 
estudios  y audiencias  (Pineault  y Davaluy  1989,  Apodaca  1999). 
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7.3.  Correspondencia  entre  modelos  y disenos 

Hemos  avanzado  que  entre  modelos  y disenos  existe  una  interaccion  evidente  que 
se  hace  igualmente  patente  en  el  caso  de  la  evaluacion  de  un  programa.  Establecido  el 
modelo,  la  elaboration  del  diseno  constituye,  en  parte,  una  consecuencia  logica.  Cuan- 
do  la  evaluacion  se  enfoca  desde  una  aproximacion  positivista  lo  logico  es  que  elabo- 
remos  un  diseno  preordenado  y que  utilicemos  una  metodologfa  lo  mas  coherente 
posible  con  los  supuestos  de  este  paradigma  aplicando  sistemas  de  control  — a ser 
posible — comparativos.  Por  el  contrario,  si  nuestro  enfoque  se  establece  desde  posi- 
ciones  mas  pluralistas  lo  normal  es  que  la  planificacion  del  diseno  se  organice  de 
forma  mas  flexible  fundamentalmente  a partir  de  estudios  observacionales  y utilizan- 
do  procedimientos  de  control  participativos  y no  comparativos. 

Asf  pues,  dado  el  abanico  de  modelos  y disenos  posibles,  el  evaluador  debera  con- 
cretar  en  cada  caso  la  estrategia  metodologica  que  considera  mas  apropiada  en  fun- 
cion  de  su  reflexion  y analisis  sobre  los  supuestos  teoricos  que  justifican  toda 
evaluacion,  pero  teniendo  en  cuenta  que  entre  modelo  y diseno  debe  existir  una  clara 
coherencia,  tal  como  hemos  plasmado  en  otro  trabajo  anterior  (De  Miguel,  2000).  Espe- 
cialmente  debera  valorar  — a la  hora  de  tomar  una  option — las  consecuencias  practi- 
cas,  ya  que  la  finalidad  ultima  en  toda  evaluacion  de  programas  es  la  toma  de 
decisiones  pertinentes  que  incidan  sobre  la  mejora  del  programa.  De  ahf  la  necesidad 
de  potenciar  enfoques  evaluativos  integradores  que  tengan  en  cuenta  tanto  los  efectos 
del  programa  como  su  significado  para  los  implicados  ya  que  ambos  aspectos  son 
esenciales  a la  hora  de  elaborar  las  propuestas  de  mejora.  Elio  implica,  de  nuestro 
punto  de  vista,  que  sea  aconsejable  abordar  siempre  la  evaluacion  de  un  programa  con 
un  enfoque  comprensivo  que  integre  aproximaciones  teoricas  diversas  y estrategias 
metodologicas  complementarias.  Lo  cual  significa  optar  por  modelos  y disenos  menos 
radicales  y mas  eclecticos. 

8.  CONSIDERACIONES  FINALES 

Una  vez  que  hemos  abordado  «algunos»  de  los  problemas  que  conciemen  a la  fun- 
damentacion  teorica  de  la  evaluacion  de  programas  y a las  exigencias  que  conlleva  la 
election  de  un  enfoque  o aproximacion  metodologica,  procede  efectuar  ciertas  consi- 
deraciones  finales  que,  a modo  de  resumen,  contribuyan  a clarificar  el  complejo  marco 
en  el  que  se  mueve  el  desarrollo  de  esta  disciplina  y el  trabajo  de  un  evaluador.  Como 
ya  hemos  dicho,  la  evaluacion  de  programas  es  una  tarea  esencialmente  practica  pero 
ello  no  significa  que  este  alejada  de  la  teorfa.  A1  contrario,  necesitamos  mas  y mejor 
teorfa  que  ilumine  lo  que  hacemos,  como  lo  hacemos  y por  que.  En  definitiva,  necesi- 
tamos justificar  teoricamente  una  actividad  que  es  esencialmente  aplicada. 

En  este  proceso  de  busqueda  hacia  una  fundamentacion  teorica,  consideramos 
oportuno  recapitular  algunas  de  las  lecciones  que  hemos  aprendido  desde  la  experien- 
cia  (Shadish,  Cook  y Leviton  1991,  Chelimsky  1997,  Cook  1977,  Scriven  1997,  Stake  y 
Mabry  1997,  Rossi,  Freeman  y Lipsey  1999,  De  Miguel  1999b)  y presentar  algunas  de 
las  connotaciones  mas  relevantes  que  actualmente  enmarcan  la  evaluacion  de  toda 
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estrategia  de  intervention  social.  Senalamos,  entre  ellas,  aquellas  que  nos  parecen  que 
pueden  contribuir  positivamente  a consolidar  la  identidad  cientifica  de  esta  disciplina. 
A saber: 

1.  Profundizar  sobre  las  teorias  relacionadas  con  el  cambio  social 

Abordar  la  evaluation  de  una  estrategia  de  intervention  social  exige  previamente 
precisar  que  se  entiende  por  cambio  o mejora  social  y como  debemos  proceder  para 
que  esto  sea  posible.  Elio  requiere  un  conocimiento  de  las  teorias  sobre  como  se  pue- 
den resolver  los  problemas  sociales  y,  en  consecuencia,  sobre  las  caracteristicas  que 
debe  reunir  toda  estrategia  de  intervention  que  se  oriente  a promover  determinadas 
mejoras.  En  esta  linea  algunos  autores  senalan  la  necesidad  de  que  quienes  planifican 
los  programas  formulen  previamente  una  «teoria  normativa»  que  defina  y justifique 
cada  una  de  las  intervenciones  y como  se  debe  aplicar  para  que  tenga  las  consecuen- 
cias  deseadas  (Wholey,  Hatry  y Newcomer,  1994).  El  evaluador  que  tiene  un  mayor 
conocimiento  de  las  teorias  sobre  el  cambio  social  estara  en  mejores  condiciones  de  lle- 
var  a cabo  procesos  evaluativos  mas  adecuados. 

2.  Establecer  una  teoria  evaluativa  explicita  ademds  de  implicita 

Toda  evaluation  requiere  una  reflexion  teorica  previa  sobre  el  tipo  de  programa 
objeto  de  analisis  con  el  fin  de  justificar  los  modelos  y procedimientos  que  vamos  a 
utilizar  para  llevar  a cabo  los  procesos  evaluativos.  Generalmente  esta  reflexion  no  se 
lleva  a cabo  de  forma  explicita,  aunque  de  una  u otra  forma  todos  los  evaluadores  tie- 
nen  una  teoria  sobre  la  evaluation  de  forma  implicita.  Por  ello,  a efectos  de  que  nues- 
tra  actividad  sea  algo  mas  que  una  metodologia  aplicada,  necesitamos  reflexionar 
sobre  los  diversos  supuestos  que  definen  nuestro  concepto  sobre  el  programa  y expli- 
citar  los  parametros  teoricos  y criteriales  a partir  de  los  cuales  vamos  a elegir  el  enfo- 
que  evaluativo.  Necesitamos  pasar  de  una  teoria  tacita  o implicita  sobre  el  programa  a 
una  teoria  articulada  que  oriente  y justifique  la  aproximacion  metodologica  elegida 
(Weis  1997,  Rossi,  Freeman  y Lipsey  1999). 

3.  Clarificar  los  fundamentos  epistemoldgicos  de  toda  evaluacion 

Ahora  bien,  para  llegar  a la  formulation  de  una  teoria  explicita  es  necesario  que, 
antes  de  proceder  a la  planificacion  de  una  evaluacion,  el  evaluador  reflexione  y preci- 
se el  punto  de  vista  que  adopta  en  relation  con  los  diferentes  supuestos  o fundamen- 
tos que  delimitan  y justifican  la  evaluacion  de  un  programa  concreto.  De  modo 
especial  debera  concretar  el  marco  de  referenda  que  va  a utilizar  en  el  proceso  de 
construction  del  conocimiento;  es  decir,  delimitar  que  pretende  conocer,  que  tipo  de 
conocimientos  necesita  y como  va  a proceder  para  su  construction.  Esta  concretion 
logicamente  implica  reflexionar  antes  sobre  cuestiones  basicas  de  caracter  ontologico, 
epistemologico  y metodologico  que  son  claves  para  poder  entender  y explicar  sus 
decisiones  practicas  (Shadish,  Cook  y Leviton  1991,  Rebien  1997).  Suplir  esta  reflexion 
por  la  «afiliacion»  a un  paradigma  no  contribuye  al  desarrollo  del  pensamiento  critico 
del  evaluador. 

4.  Abordar  la  evaluacion  como  una  tarea  eclectica 

Este  recurso  — habitualmente  utilizado — de  definir  o explicitar  los  supuestos  teori- 
cos dentro  de  un  paradigma  no  es  recomendable  en  el  campo  de  la  evaluacion  porque, 
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como  ya  hemos  avanzado,  no  existe  un  paradigma  que  ofrezca  un  marco  teorico  com- 
prensivo  capaz  de  integrar  todos  los  interrogantes  y problemas  que  conlleva  la  realiza- 
tion de  un  proceso  evaluativo  que  por  su  propia  naturaleza  debe  responder  a distintas 
finalidades,  diferentes  audiencias  y usos  muy  diversos.  La  evaluacion  es  esencialmen- 
te  una  tarea  eclectica  por  lo  que  es  muy  cuestionable  la  utilization  de  los  paradigmas 
clasicos  con  este  fin  (Cook,  1997).  Este  hecho  nos  advierte,  al  mismo  tiempo,  en  la 
necesidad  de  profundizar  sobre  el  estatuto  cientffico  de  esta  disciplina  desde  otras 
perspectivas  mas  realistas  (Pawson  y Tilley,  1997). 

5.  Elegir  los  metodos  en  funcion  de  la  finalidad 

Dado  que  no  existe  un  prototipo  de  paradigma  para  evaluar  programas,  precede 
insistir  que  los  metodos  deben  ser  elegidos  en  funcion  de  la  finalidad  que  orienta  el 
proceso  y no  al  reves  como  frecuentemente  sucede.  La  experiencia  nos  lleva  a afirmar 
que  no  existen  metodos  de  evaluacion  que  se  puedan  aplicar  siempre  y en  todas  las 
situaciones  sino  que  estos  deben  ser  elegidos  en  funcion  del  proposito  hacia  la  que  se 
orienta  la  evaluacion  y la  necesidad  de  obtener  resultados  «creibles».  Asf  como  los 
metodos  cualitativos  no  son  buenos  para  generar  estimaciones  cuantitativas  sobre  los 
resultados  de  un  programa,  tampoco  los  metodos  cuantitativos  son  adecuados  para 
obtener  informaciones  respecto  a la  teorfa  que  lo  fundamenta  y los  procesos  desarro- 
llados.  No  cabe,  por  tanto,  apriorismos  o planteamientos  exclusivos  ya  que  son  nece- 
sarios  ambos  tipos  de  metodologfas.  Las  dificultades  se  presentan  en  el  piano  de  la 
logfstica,  no  en  el  de  la  logica  (Cook  y Reichardt  1986,  Cook  1997,  Rossi,  Freeman  y 
Lipsey  1999). 

6.  Fomentar  la  diversidad  metodologica 

Cuando  se  asume  que  las  evaluaciones  deben  responder  a diversos  propositos  y 
audiencias,  lo  habitual  es  utilizar  una  combination  parsimoniosa  de  datos,  analisis  y 
metodos  en  funcion  del  tipo  de  informaciones  y conocimientos  que  perseguimos  en 
cada  momento  y fase  del  proceso.  La  evaluacion  es  un  campo  en  el  que  se  pueden  apli- 
car todo  tipo  de  estudios  y metodologfas  y donde  la  tarea  se  enriquece  precisamente 
con  la  pluralidad.  Por  ello,  la  unica  option  valida  es  abordar  los  procesos  con  un  enfo- 
que  comprensivo  y utilizar  los  procedimientos  que  en  cada  caso  estimamos  oportu- 
nos,  al  margen  de  polemicas  esteriles  que  no  conducen  a ninguna  parte.  La  evaluacion 
es  un  campo  del  conocimiento  donde  el  debate  entre  metodologfas  esta  superado  (Rei- 
chardt y Rallis  1994,  Datta  1997,  De  Miguel  1999). 

7.  Promover  trabajos  de  sintesis  antes  que  individuales 

Precisamente  porque  la  mayorfa  de  las  evaluaciones  exigen  recabar  informaciones 
diversas,  utilizando  fuentes  muy  distintas  y metodos  diferentes,  parece  necesario 
abordar  esta  tarea  con  una  vision  pluralista  e integradora  con  el  fin  de  que  los  juicios 
de  valor  se  fundamenten  sobre  conocimientos  contrastados  por  la  opinion  mayoritaria 
de  todos  los  implicados  en  el  programa.  De  ahf  que  la  fiabilidad  y validez  de  las  obser- 
vaciones  y recomendaciones  aumente  en  la  medida  que  hayan  sido  elaboradas  a partir 
de  la  integration  de  los  resultados  de  varios  estudios,  lo  que  significa  priorizar  los  tra- 
bajos de  sintesis  y metaanalisis  frente  a los  individuales  (Lipsey  y Wilson  1993,  Cook 
1997).  No  debemos  olvidar  que  la  calidad  de  un  conocimiento  se  incrementa  en  la 
medida  que  haya  un  escrutinio  publico  mayor  sobre  el  mismo. 
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8.  Velar  por  la  credibilidad  de  los  informes 

Facilmente  se  comprende  que  la  elaboration  del  informe  sobre  una  evaluation  no 
es  una  cuestion  neutra  en  relation  con  las  aplicaciones  o usos  de  las  recomendaciones 
sugeridas.  Para  que  el  informe  o informes  sean  utiles  deben  reunir  dos  notas  que  nos 
parecen  muy  importantes.  De  una  parte,  deben  responder  a las  necesidades  de  las 
audiencias  y ser  elaborados  de  forma  objetiva  que  no  ponga  en  cuestion  la  indepen- 
dencia  del  evaluador,  lo  que  conlleva  considerar  la  naturaleza  de  las  relaciones  entre  el 
evaluador  y los  implicados.  De  otra,  deben  ser  redactados  en  terminos  claros  y con 
datos  precisos  que  sean  facilmente  comprensibles  por  las  audiencias  implicadas. 
Ambas  cuestiones  condicionan  la  credibilidad  de  los  informes  y,  en  consecuencia,  su 
utilidad  (Patton  1986,  Wholey,  Hatry  y Newcomer,  1994). 

9.  Analizar  los  f adores  contextuales  y politicos  que  condicionan  el  uso  de  la  infor'macion 

Ademas  de  la  credibilidad  que  ofrecen  los  informes  existen  otros  factores  contex- 
tuales y politicos  que  condicionan  la  aplicacion  o utilization  de  los  resultados  y que 
tambien  deben  ser  considerados  por  los  evaluadores  con  el  fin  de  eliminar  las  barreras 
que  dificultan  que  los  procesos  tengan  consecuencias  practicas.  Entre  estos  factores 
debemos  plantearnos  todos  los  problemas  que  surgen  entre  la  entrega  de  los  informes 
y la  puesta  en  practica  de  las  recomendaciones  oportunas;  es  decir,  la  difusion  y dise- 
minacion  de  los  informes,  la  interpretation  de  resultados,  el  conocimiento  de  los 
implicados  en  la  toma  de  decisiones,  los  argumentos  que  avalan  cada  una  de  las  alter- 
nativas  sugeridas,  etc..  El  analisis  de  estos  problemas  nos  permitira  buscar  soluciones 
orientadas  a eliminar  o reducir  sus  efectos  e incrementar  asi  la  eficacia  de  nuestros  tra- 
bajos  (Braskamp  y Brown  1980,  Ewell  1989,  Torres,  Preskill  y Piontek  1996). 

10.  Realizar  estudios  de  metaevaluacion  sobre  los  trabajos  efeduados 

Finalmente  todos  debemos  considerar  que  la  mejor  forma  de  avanzar  y profundi- 
zar  sobre  el  marco  teorico  de  nuestra  disciplina  y nuestra  tarea  es  a traves  de  la  propia 
evaluation  del  trabajo  que  realizamos.  De  ahi  que  debamos  someter  a control  todos 
nuestros  trabajos  con  el  fin  de  que,  al  detectar  sus  puntos  fuertes  y debiles,  podamos 
tener  una  vision  realista  sobre  la  calidad  del  mismo  y las  limitaciones  que  presenta 
para  su  utilization  posterior.  Para  ello  debemos  habituarnos  a efectuar  estudios  de 
metaevaluacion  utilizando  gufas  elaboradas  con  este  fin  y remitir  nuestros  informes  a 
evaluation  externa  para  recabar  otras  opiniones  independientes.  Es  un  camino  que 
necesariamente  debemos  recorrer  si  queremos  mejorar  nuestro  trabajo,  mejorar  las 
bases  teoricas  de  nuestra  disciplina,  y ganar  mas  credibilidad  ante  nuestras  audiencias 
(Joint  Committee  1988,  Shadish,  Newman,  Scheirer  y Wye  1995). 

Finalmente,  quisiera  anadir  que  estas  consideraciones  que  sugerimos  son  algunas 
de  las  reflexiones  a las  que  hemos  llegado  desde  nuestra  experiencia  personal  y que, 
en  la  medida  que  estan  en  lrnea  con  el  pensamiento  de  otros  autores,  esperamos  pue- 
dan  ser  utiles  para  quienes  estan  preocupados  por  estas  cuestiones.  Los  evaluadores 
presionados  por  la  practica  hemos  dejado  poco  espacio  para  la  reflexion  teorica  y qui- 
zes ha  llegado  el  momento  en  que  nos  tengamos  que  plantear  la  necesidad  de  funda- 
mentar  nuestra  tarea  ya  que  en  ello  no  solo  se  haya  comprometida  la  identidad  de  esta 
disciplina  sino  tambien  la  misma  credibilidad  de  nuestro  trabajo. 
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i . LA  EVALUACION  DE  PROGRAMAS  COMO  INVESTIGACION  EVALUATIVA 

La  Evaluation  de  Programas  es  un  proceso  para  generar  formas  utiles  de  compren- 
sion  sobre  una  innovation  (o  una  intervention).  Este  sentido  de  utilidad  hay  que 
entenderlo  como  la  posibilidad  de  utilizar  la  intervention  como  un  recurso  crftico  para 
mejorar  los  procesos  de  action  educativa,  razon  por  la  que,  a nivel  metodologico, 
puede  entenderse  como  un  proceso  de  investigacion  evaluativa  (Tejedor  y otros,  1994; 
Perez  Juste,  1995;  Amezcua  y Jimenez,  1996;  Martinez  Mediano,  1997). 

La  investigacion  evaluativa  ha  ido  perfilandose  con  una  metodologia  concreta  en 
los  ultimos  quince  anos.  Esta  metodologia  queda  delimitada  por:  una  terminologia 
propia,  un  conjunto  de  herramientas  conceptuales  y analiticas  especificas,  y unos  pro- 
cesos y fases  tambien  especificos.  El  conjunto  define  un  campo  floreciente  en  el  que 
realmente  lo  especifico  es  la  mezcla  y no  las  partes  constitutivas.  Para  Alvira  (1991), 
algunas  circunstancias  que  han  contribuido  a conformar  este  campo  de  actuacion 
serian: 

a)  Mayor  interrelation  entre  las  actividades  de  evaluacion  y programacion.  Si  en 
una  perspectiva  clasica  la  evaluacion  se  realiza  despues  de  las  actividades  de 
planificacion,  programacion  y desarrollo  de  la  intervencion,  en  la  actualidad 
ambas  actividades  caminan  de  forma  paralela. 

b)  La  investigacion  evaluativa  es  investigacion  (con  todos  los  considerandos  epis- 
temologicos,  metodologicos  y tecnicos  que  ello  entrana),  pero  es  mas  que  inves- 
tigacion, ya  que  se  entiende  como  un  proceso  cuya  finalidad  es  aplicar 
procedimientos  cientificos  para  acumular  evidencia  valida  y fiable  sobre  la 
manera  y grado  en  que  un  conjunto  de  actividades  producen  resultados  o efec- 
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tos  concretos.  Intenta  determinar  el  valor  de  la  accion  educativa,  buscar  solucio- 
nes  a problemas  concretos  o mejorar  las  estrategias  de  actuation. 

Se  produce  una  mayor  implication  de  las  partes  interesadas  (observation  parti- 
cipante,  investigacion  accion,...). 

Pueden  integrarse  estrategias  de  investigacion  muy  diversas,  tanto  cuantitati- 
vas  como  cualitativas.  Es  un  campo  de  trabajo  que  posibilita  la  utilizacion 
simultanea  y sucesiva  de  diferentes  metodologias  para  el  tratamiento  de  los 
temas  objeto  de  estudio  e intervencion.  Sera  la  naturaleza  especifica  del  progra- 
ma  y la  pericia  del  evaluador  quienes  a la  postre  determinaran'la  utilizacion  de 
una  o varias  opciones. 

La  investigacion  evaluativa  es  un  modo  de  investigacion  que  implica  un  proceso 
riguroso,  controlado  y sistematico  de  recogida  y analisis  de  information  fiable  y valida 
para  tomar  decisiones  sobre  un  programa  educativo.  Vemos  que  aparecen  importantes 
puntos  de  contacto  respecto  a lo  que  entendemos  por  «investigacion»:  proceso  siste- 
matico, riguroso,  controlado;  utilizacion  de  tecnicas  de  medicion  y analisis  de  datos. 
La  evaluation  se  distingue  de  la  investigacion  por  los  objetivos  y no  por  los  metodos. . . 

Algunos  autores,  sin  embargo,  creen  que  conviene  diferenciar  ambas  tareas,  sena- 
landose  como  caracteristicas  peculiares  de  la  investigacion  evaluativa  las  siguientes 
(De  la  Orden,  1985): 

a)  Los  juicios  de  valor  acompanan  al  desarrollo  de  todo  el  programa:  desde  la 
selection  del  problema  a estudio  hasta  en  la  aplicacion  de  metodologias  con- 
cretas. 

b)  Resulta  dificil  (a  veces  inadecuado)  formular  hipotesis  precisas. 

c)  La  replication  es  practicamente  imposible  dadas  las  caracteristicas  casi  irrepeti- 
bles  de  la  ejecucion  de  un  programa  de  intervencion. 

d)  La  recogida  de  datos  esta  condicionada  por  la  viabilidad  del  proceso. 

e)  Multitud  de  variables  relevantes  solo  son  susceptibles  de  un  control  superficial 
limitandose  por  tanto  la  utilizacion  de  disenos  de  caracter  mas  experimental. 

f)  Las  decisiones  importantes  en  relation  con  la  paralizacion,  sustitucion  o repeti- 
tion del  programa  no  son  competencia  del  evaluador. 

g)  El  informe  debe  adaptarse  a las  exigencias  de  quien  lo  financia. 

Una  caracteristica  basica  de  la  investigacion  evaluativa  es  que  se  lleva  a cabo  en  un 
proceso  de  intervencion,  en  la  misma  accion,  que  es  lo  realmente  importante.  La  inves- 
tigation, senalaba  Weis  (1982),  es  una  prioridad  secundaria,  lo  que  debe  llevarnos  a 
pensar  que  la  evaluation /investigation  tiene  que  adaptarse  al  contexto  del  programa 
y perturbar  lo  menos  posible  su  desarrollo. 

El  proceso  de  evaluation  de  programas  debe  concebirse  como  una  autentica 
estrategia  de  investigacion  sobre  los  procesos  educativos,  en  cuyos  resultados  debe- 
rian  basarse  las  pautas  sugeridas  para  orientar  los  procesos  de  intervencion.  Investi- 
gacion e intervencion  se  apoyan  mutuamente.  La  intervencion  sacara  partido  de  la 
investigacion  en  la  medida  en  que  esta  se  extienda  a la  solution  de  problemas  practi- 
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cos.  La  investigacion  activa  se  asimila,  enriqueciendola,  a la  nocion  de  investigacion 
aplicada. 

Toda  situation  educativa  es  susceptible  de  este  doble  tratamiento.  Por  una  parte, 
existe  la  necesidad  de  «conocerla»  y de  «explicarla».  Por  otra,  es  preciso  «comprender- 
la»  y «mejorarla».  Se  requiere  que  la  investigacion  alcance  un  nivel  de  integracion  sufi- 
ciente,  en  este  caso,  entre  el  pensamiento  y la  decision:  la  preocupacion  por  el  saber 
se  une  de  alguna  manera  a la  preocupacion  por  el  actuar.  Este  campo  de  estudio,  que 
algunos  denominan  «investigacion  orientada»,  esta  a la  base  de  toda  investigacion 
evaluativa. 

La  investigacion  orientada/  evaluativa  nace  como  respuesta  a necesidades  sociales 
y se  elabora  en  funcion  de  tales  necesidades;  se  realiza  con  objeto  de  llegar  a la  solu- 
tion de  los  problemas  que  exige  una  action  informada  cientificamente.  Habra  de  tener 
necesariamente  un  caracter  interdisciplinar  y viene  determinada  por  los  objetivos,  los 
resultados  y las  motivaciones. 

A1  referirnos  al  tema  del  disefio  en  la  Evaluacion  de  Programas  nos  vamos  a encon- 
trar,  como  ocurre  en  el  mas  amplio  campo  de  la  investigacion,  con  una  doble  acepcion 
de  dicho  termino: 

a)  Disefio  como  planificacion  general  del  proceso  de  intervencion  (el  diseno  o 
disefio  de  evaluacion) 

b)  Diseno  como  planificacion  puntual  del  analisis  de  los  efectos  de  la  intervencion 
realizada  (los  disenos  o disenos  de  investigacion). 

Esta  diferenciacion  es  la  que  se  ha  tenido  en  cuenta  a la  hora  de  titular  esta  aporta- 
cion  y que  pasamos  a comentar  con  detenimiento. 

2.  EL  DISENO  EN  LA  EVALUACION  DE  PROGRAMAS 


Un  diseno  es  un  plan  que  fija  que  medidas  y cuando  seran  tomadas  en  el  curso  de 
un  proceso  de  evaluacion.  Plantearse  la  especificacion  de  un  diseno  supone  haber  rea- 
lizado  reflexiones  previas  en  tomo  a cuestiones  relacionadas  con  el  concepto  general 
de  evaluacion  y con  las  finalidades  de  las  diferentes  opciones  metodologicas;  poste- 
riormente  delimitaremos,  como  parte  de  la  planificacion  prevista,  los  fundamentos  de 
la  misma,  los  objetivos,  los  elementos  personales  implicados  en  el  programa,  los  ambi- 
tos  de  intervencion,  los  instrumentos  de  recogida  de  datos,  las  tecnicas  de  analisis  y 
los  momentos  de  la  evaluacion;  todo  ello,  de  acuerdo  al  modelo  que  se  haya  elegido 
para  realizar  la  actividad  evaluativa  y teniendo  en  cuenta  que  en  todos  estos  elemen- 
tos existen  diferencias  segun  la  perspectiva  o enfoque  (paradigma  o modelo)  por  se 
siga. 

El  diseno  de  Evaluacion  de  Programas  es  tanto  un  proceso  como  un  conjunto  de 
escritos  o planes  que  incluyen  unos  elementos  que  presentan  los  propios  contenidos  y 
que  generan  numerosas  preguntas.  No  hay  un  unico  camino  para  realizar  la  evalua- 
cion de  un  programa  por  lo  que  habra  necesariamente  que  prestar  atencion  a numero- 
sos  elementos  a la  hora  de  concretar  un  diseno  o plan  de  analisis:  condiciones 


322 


Francisco  Javier  Tejedor 


organizacionales,  necesidades,  intereses  y valores  de  los  implicados  en  el  proceso, 
objetivos  del  programa,  recursos  necesarios  y disponibles,... 

En  cualquier  caso,  independientemente  del  modelo  que  se  haya  elegido,  cualquier 
minima  planificacion  tiene  que  atender  las  siguientes  tareas: 

— establecer  las  actividades  que  se  van  a evaluar 

— fijar  los  criterios  de  evaluation 

— elegir  las  estrategias  para  la  obtencion  de  information 

— analizar  la  information 

— tomar  decisiones  a partir  de  la  information  analizada 

Donde  podemos  identificar  los  dos  elementos  basicos  del  diseno  de  una  evalua- 
tion, que  expresados  en  terminos  sinteticos  serian: 

— La  determinacion  de  los  datos  que  se  requieren  para  valorar  la  eficacia  del  pro- 
grama 

— La  determinacion  del  plan  para  obtener  la  informacion  necesaria  que  nos  permi- 
ta  establecer  relaciones  entre  el  programa  y los  resultados  obtenidos 

En  el  cuadro  1 presentamos  una  reformulation  simplificada  de  la  propuesta  de 
, Perez  Carbonell  (1998,  pp.  188-192)  respecto  a los  aspectos  a considerar  en  la  delimita- 
tion del  diseno  en  el  marco  de  la  Evaluacion  de  Programas. 

Algunas  cuestiones  importantes  a tener  en  cuenta  serian  (Carballo,  1990,  pags.  166): 

— ^Se  van  a establecer  las  pautas  que  se  seguiran  en  el  proceso  evaluativo?  (dise- 
nos prefijados  vs  emergentes) 

— Los  resultados  de  la  evaluacion,  ^se  van  a utilizar  para  mejorar  el  programa, 
para  emitir  un  informe  sobre  su  funcionamiento  o para  ambas  cosas  a la  vez? 
(disenos  para  una  evaluacion  formativa  vs  normativa? 

— ^Se  van  a incluir  en  el  estudio  procesos  de  intervention  o solo  se  va  a describir 
el  funcionamiento  del  programa?  Si  se  incluye  un  proceso  especifico  de  inter- 
vencion sera  necesario  analizar  sus  efectos,  lo  que  requerira  la  explicitacion  de 
un  «diseno  de  investigacion» 

a)  Disenos  prefijados  vs  emergentes 

Los  disenos  prefijados  siguen  la  pauta  del  modelo  positivista,  requiriendose  que 
los  objetivos  de  la  evaluacion  esten  claramente  definidos  y fijados  con  anterioridad  a 
la  ejecucion  del  programa,  lo  que  supone  que  todos  los  componentes  del  modelo  (obje- 
tivos variables,  tratamientos,  fuentes  de  informacion,  datos  a recoger,  analisis  de 
datos,...)  esten  determinados  a partir  de  presupuestos  teoricos  o de  experiencias  en 
evaluacion  de  otros  programas  similares. 

Estos  disenos  tratan  de  informarnos  sobre  la  consecution  de  objetivos  en  la  ejecu- 
cion del  programa,  intentando  el  evaluador  esclarecer  los  factores  (variables  y relacio- 
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CUADRO 1 

ASPECTOS  A CONSIDERAR  EN  LA  DELIMITAClON  DEL  DISENO 


Elementos 

Contenidos 

Dificultades 

Consecuencias 

Desarrollo  del 
programa 

Entomo 

Objeto  de  la  evaluacion 
Destinatarios 
Criterios  de  evaluacion 
Actividades 

No  se  considera  a los 
implicados 

No  se  implican  los 
interesados  y se 
tiende  a descalificar 
la  evaluacion 

Recogida  de  datos 

Variables  de  interes 
Fuentes  de  informacion 
Instrumentos 
Tecnicas  de  recogida 

Procedimientos  que  violan 
derechos 

Pleitos 

Procedimientos  que  utilizan 
tiempo  valioso  de  usuarios 

Falta  de  cooperation 
Datos  no  reales 

Procedimientos  que  implican 
cambios  de  habitos 

Analisis  de  datos 

Tipo  de  datos  recogidos 
Criterios  estadisticos 
Analisis  adecuados 
Interpretation  correcta 

Datos  con  incidencia 
individual 

• Information 
criticada  y no 
valorada 

Analisis  demasiado  tecnicos 

Realization  de 
informes 

Destinatarios 
Numero  de  informes 
Difusion 

Los  implicados  no  participan 
en  el  informe 

La  informacion  no 
se  utiliza  por  los 
grupos  afectados 

La  audiencia  no  tiene 
oportunidad  de  reaccionar 

El  informe  afecta  a puestos 
de  trabajo 

Se  pone  en  aprieto  a 
personas  o instituciones 

Manejo  de  la 
informacion 

Decisiones  a tomar 
Personas  afectadas 
Presupuesto  de  las 
decisiones  a adoptar 

No  se  especifican  bien 
responsabilidades 

Agravio  colectivo 

Presupuestos  deficientes 
Informacion  desaprovechada 

nes  entre  ellas)  que  han  mediado  en  dicha  consecucion.  En  sfntesis,  estos  disenos 
«fijos»  se  caracterizan  porque: 

— son  planeados  con  anterioridad 

— estan  estructurados,  aunque  admite  reajustes 

— se  especifican  problemas  y objetivos,  fuentes  de  informacion,  instrumentos, 
temporalizacion,... 

— se  fijan  los  destinatarios  de  los  informes 

— los  datos  suelen  ser  de  caracter  cuantitativo  y se  valora  todo  aquello  que  se 
aproxima  al  paradigma  racionalista 

La  practica  evaluativa  ha  ido  poniendo  de  manifiesto  que  la  evaluacion  de  la  con- 
secucion de  los  objetivos,  planteada  en  estos  terminos,  resultaba  muy  dificil  de  realizar 
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ya  que  las  cosas  no  suelen  desarrollarse  en  los  terminos  inicialmente  previstos,  lo  que 
llevo  a los  evaluadores  a flexibilizar  sus  planteamientos  evaluativos  iniciales,  abrien- 
dose  a nuevas  perspectivas  valorativas,  no  solo  de  los  resultados  sino  tambien  del  pro- 
pio  proceso  seguido  (evaluacion  del  proceso)  intentando  relacionar  la  valoracion  de 
los  resultados  con  las  condiciones  y circunstancias  en  las  que  se  desarrollo  el  progra- 
ma, lo  que  nos  conduce  a criterios  de  eficiencia  y no  solo  de  eficacia. 

En  seguida,  este  tipo  de  alternativa  tuvo  seguidores  fervorosos  (Stake,  Owens,  Par- 
lett  y Hamilton,  Guba...)  y,  especialmente,  Scriven  que  incorpora  como  novedad  la 
idea  de  valorar  los  efectos  no  previstos,  dejandose  llevar  por  el  desarrollo  del  progra- 
ma  y cuestionandose  incluso  la  utilidad  de  la  formulation  inicial  de  objetivos  (Scriven, 
1973). 

Estos  disenos  «emergentes»  pueden,  globalmente,  caracterizarse  en  los  siguientes 
terminos: 

— se  adaptan  mejor  a las  necesidades  e intereses  de  los  participantes 

— estan  abiertos  a posibles  modificaciones  que  durante  el  desarrollo  puedan 
incorporarse 

— los  problemas  y objetivos  no  tienen  por  que  ser  especificados  inicialmente;  se 
produce  una  reformulation  constante  de  los  objetivos  del  programa 

— no  se  especifican  elementos  tales  como  instrumentos  de  recogida  de  datos, 
momentos  de  obtencion  de  la  misma,.. 

— se  exige  que  el  evaluador  siga  el  desarrollo  del  programa  estando  en  contacto 
permanente  con  los  participantes;  este  distinto  grado  de  implicacion  del  evalua- 
dor va  a condicionar  las  tecnicas  e instrumentos  de  obtencion  de  datos 

— los  datos  suelen  ser  de  caracter  cualitativo  y se  valora  todo  aquello  que  se  apro- 
xima  a los  paradigmas  interpretative  y critico 

— debe  cuidarse  la  adecuada  selection  de  information  (demasiado  abundante  e 
irrelevante  en  muchos  casos)  y una  implicacion  excesiva  del  evaluador  en  la 
valoracion  de  logros 

Quizas  puede  pensarse  que  esta  diferenciacion  dicotomica  establecida  en  los  dise- 
nos («fijo/ emergente»)  es  mas  teorica  que  practica.  En  realidad  parece  posible  pensar 
que  no  exista  tal  dicotomia;  pensamos  que  el  diseno,  en  el  marco  de  la  Evaluacion  de 
Programas,  debe  ser  establecido  a priori,  respondiendo  a la  conception  teorica  que 
sobre  la  evaluacion  tienen  los  responsables  del  programa  y el  propio  evaluador, 
debiendo  incluir  referencias  a los  objetivos  del  programa,  sus  componentes,  los  recur- 
sos  necesarios,  las  estrategias  de  recogida  y analisis  de  datos,  las  posibles  decisiones 
que  de  su  desarrollo  puedan  derivarse  y la  presentation  y difusion  de  los  resultados. 

Pero  abogar  por  la  prevision  no  es  estar  a favor  de  la  inmutabilidad.  Nuestra  postu- 
ra  en  modo  alguno  excluye  la  posibilidad  de  ir  incorporando  durante  el  desarrollo  de 
la  ejecucion  del  programa  todos  aquellos  elementos  que  se  consideren  mas  favorables 
a la  optimization  del  proceso  planificado:  desde  la  reformulation  de.  objetivos  a la 
difusion  de  resultados  pasando  por  la  incorporation  de  nuevos  recursos  o la  modifica- 
tion de  las  estrategias  de  recogida  y analisis  de  datos. 
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b)  Disenos  de  evaluaciones  formativas  vs  sumotiVos 

Puede  afirmarse  que  fue  Cronbach  quien,  a partir  de  1980,  extendio  la  aplicacion 
de  los  terminos  «formativa»  y «sumativa»,  inicialmente  propuestos  por  Scriven  para 
su  aplicacion  a contextos  instructivos,  al  ambito  de  la  evaluacion  de  programas.  En 
este  contexto,  la  evaluacion  formativa  es  una  parte  importante  del  proceso  que  sigue  el 
desarrollo  del  programa,  proporcionandole  retroalimentacion  de  su  funcionamiento 
para  favorecer  el  mismo  e incorporar  los  cambios  que  puedan  contribuir  a mejorar  su 
realizacion,  lo  que  implica  la  vinculacion  del  evaluador  con  el  discurrir  del  programa: 
evaluacion  de  caracter  intemo  con  efectos  potenciales,  sobre  todo  en  la  mejora  del 
desarrollo  del  programa.  Sin  duda,  responde  al  papel  mas  noble  que  puede  desempe- 
nar  la  evaluacion:  su  incardinacion  en  el  desarrollo  del  propio  programa,  de"la  propia 
intervencion,  del  propio  proceso  educativo. 

La  evaluacion  formativa  permite  establecer  una  interaction  continua  entre  la  eva- 
luacion y la  action  educativa,  destacando  su  repercusion  en  la  mejora  del  proceso  y en 
la  orientation  del  programa  y,  por  consecuencia,  en  la  optimization  de  los  productos 
(logros)  que  se  obtengan  tras  la  aplicacion  de  dicho  programa,  sobre  todo  si  la  evalua- 
cion formativa  se  plantea  la  busqueda  de  las  causas  que  estan  explicando  los  datos  que 
nos  vamos  encontrando. 

En  sfntesis,  el  diseno  formativo  puede  caracterizarse  por  los  siguientes  consideran- 
dos: 


— la  evaluacion  se  plantea  desde  una  perspectiva  interna 

— su  objetivo  es  intentar  la  mejora  del  programa 

— los  datos  son  utilizados  por  el  propio  equipo  tecnico  del  programa  o por  los 
implicados  (el  evaluador  debe  ser  parte  integrante  del  equipo) 

— se  persigue  sobre  todo  la  utilidad  para  los  usuarios 

— el  diseno  puede  ser  tanto  fijo  como  emergente  (si  es  fijo  deberan  aceptarse  cam- 
bios) 

A la  hora  de  valorar  un  diseno  de  corte  formativo  debera  considerarse  (Bartolome, 
1990): 

— la  coherencia  logica  del  diseno 

— su  capacidad  para  responder  a las  necesidades  del  grupo  y/o  a su  proyecto 
social  y educativo 

— su  flexibilidad  de  adaptation  y mejora 

— su  posibilidad  de  realizacion,  a traves  de  un  acercamiento  progresivo  y de  las 
percibidas  por  el  grupo  y de  un  acercamiento  de  las  actividades  previstas  y rea- 
lizadas 

— su  eficacia  progresiva,  valorando  su  incidencia  real  en  la  mejora  educativa 

La  evaluacion  sumativa,  por  su  parte,  se  relaciona  con  la  terminacion  del  proceso 
de  intervencion,  intentando  globalizar  la  evaluacion  formativa  que  se  haya  podido  ir 
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haciendo  a lo  largo  del  proceso.  La  evaluacion  sumativa  nos  informa  sobre  los  resulta- 
dos  obtenidos  y,  por  tanto,  sobre  las  necesidades  que  han  podido  satisfacerse  con  la 
aplicacion  del  programa.  Parece  importante  destacar  el  hecho  de  relacionar  la  consecu- 
tion de  logros  con  la  satisfaccion  de  necesidades  en  mayor  medida  que  con  la  consecu- 
tion de  objetivos,  lo  que  puede  ayudarnos  a reconocer  la  especificidad  de  los  procesos 
de  intervencion  en  contextos  de  caracter  no  estrictamente  instructive. 

El  diseno  sumativo  responderia  a las  pautas  siguientes: 

— la  evaluacion  puede  plantearse  desde  una  perspectiva  externa 

— su  objetivo  es  intentar  ofrecer  un  juicio  sobre  la  satisfaccion  de  necesidades  y / o 
sobre  la  consecution  de  los  objetivos 

— interesa  en  gran  medida  la  credibilidad  externa 

— el  evaluador  debe  ser  ajeno  al  equipo  tecnico  del  programa  para  favorecer  la 
objetividad  en  la  valoracion  de  los  resultados 

— el  diseno  suele  ser  mas  bien  de  tipo  fijo  que  emergente 

c)  Distintos  tipos  de  evaluaciones 

Desde  una  perspectiva  metodologica,  la  puesta  en  marcha  de  un  programa  supone 
una  actuation  que  debe  atender  ordenadamente  a las  distintas  fases  del  proceso.  La 
supervision  del  desarrollo  de  cada  una  de  esas  fases  en  terminos  evaluativos  nos  lleva 
al  establecimiento  de  diferentes  tipos  de  evaluacion  que  pueden  llegar  a tener  interes 
en  si  mismo,  incluso  con  su  metodologia  propia  (necesidades,  objetivos,  proceso, 
resultados,...);  pero  no  podemos  olvidar  que  todos  ellos  forman  parte  de  un  esquema 
unico  de  investigacion  que  nos  informara  sobre  la  puesta  en  marcha  del  programa  y la 
calidad  de  sus  logros.  Este  esquema  global  del  proceso  evaluativo  de  un  programa  de 
intervencion  seria  similar  al  que  presentamos  a continuation. 

1 ) Evaluacion  de  necesidades 

Debe  ser  la  primera  actividad  a llevar  a cabo  en  la  puesta  en  marcha  de  un  progra- 
ma de  intervencion  (Tejedor,  1990).  Aunque  algunos  autores  plantean  la  evaluacion  de 
necesidades  con  el  mismo  enfasis  que  la  evaluacion  de  programas,  considero  que  es 
mas  pertinente  concebirla  como  una  fase  de  dicho  proceso,  limitando  entonces  sus 
objetivos,  lo  que  no  implica  desvirtuar  su  esquema  operativo  que  entiendO  esta  sufi- 
cientemente  conformado.  Podemos  pensar  que  la  evaluacion  de  necesidades,  siendo 
una  fase  del  proceso  de  investigacion  para  la  puesta  en  marcha  de  un  programa  de 
intervencion,  tiene  entidad  propia  y es  susceptible  de  ser  analizada  con  un  esquema 
completo  de  investigacion  evaluativa  (Witkin,  1984). 

2)  Evaluacion  del  diseno  (evaluacion  de  entrada) 

Supone  la  preocupacion  por  la  secuencia  de  los  pasos  a seguir,  por  la  claridad  de 
formulation  de  los  objetivos  planteados,  por  la  calidad  de  los  instrumentos  o tecni- 


323 


El  disefio  y los  disenos  en  la  Evaluacion  de  Programas 


327 


cas  de  obtencion  de  information,  por  la  suficiencia  de  la  muestra  fijada,  por  la  ade- 
cuada  localization  de  las  unidades  muestrales,  por  la  procedencia  de  las  actividades 
sugeridas,  por  la  adecuacion  de  las  tecnicas  de  analisis,...  (Mayer,  1985;  Bartolome, 
1990).  Se  pretende  valorar  el  plan  de  action  (disefio)  y los  recursos  del  programa,  a 
fin  de  seleccionar  las  estrategias  que  permitan  satisfacer  mas  adecuadamente  las 
necesidades  detectadas  y que  mejor  se  adapten  al  grupo  de  personas  al  que  el  pro- 
grama va  dirigido. 

Incluye  igualmente  la  evaluacion  de  las  posibilidades  de  evaluacion  del  propio 
disefio  (evaluacion  de  la  evaluabilidad).  La  experiencia  determina  que  pocos  de  los 
programas  llevados  a la  practica  son  evaluables  al  tener  problemas  de  especificacion 
de  objetivos,  de  implementation,  de  adecuacion  de  las  actividades  a la  consecution  de 
objetivos,  de  carencia  de  medios  para  su  desarrollo,...Por  ello  estamos  de  acuerdo  con 
quienes  sugieren  la  conveniencia  de  llevar  a cabo  una  revision  previa  de  las  posibilida- 
des evaluativas  del  programa  (Anguera,  1990). 

3)  Evaluacion  de  la  implementation 

Este  tipo  de  evaluacion  pretende  analizar  el  funcionamiento  del  programa  y deter- 
minar  si  existen  diferencias  entre  el  funcionamiento  real  y el  previsto  inicialmente.  Si 
hubiera  diferencias  notorias  entre  ambos  esquemas  de  funcionamiento  tratariamos  de 
hallar  las  causas  y,  si  fuera  posible,  subsanar  las  deficiencias  (Finnegan  y otros,  1988). 
Puede  pensarse  que  incluye: 

— Evaluacion  de  la  cobertura:  Trataremos  de  analizar  si  el  programa  cubre  todos 
los  objetivos  previstos  y si  llega  a todos  los  sujetos  para  los  que  se  habfa  pensa- 
do,  determinando,  si  procede,  los  sesgos  de  cobertura  existentes  y las  causas 
que  los  han  motivado. 

— Evaluacion  del  proceso  (seguimiento):  En  algunos  casos,  sobre  todo  si  el  progra- 
ma es  de  larga  duration,  conviene  realizar  un  analisis  de  su  funcionamiento  a 
fin  de  verificar  si  su  desarrollo  sigue  las  pautas  previstas.  Implica  la  revision  de 
todos  los  elementos  constitutivos  del  programa  (personales,  funcionales  y mate- 
riales),  en  su  dimension  interactiva:  calidad  de  las  actividades,  distribution  del 
tiempo  y del  trabajo,  utilization  de  recursos,. .. 

La  evaluacion  adecuada  del  proceso  supone  la  consideration  de  todos  sus  elemen- 
tos por  lo  que  se  sugiere  un  esfuerzo  previo  de  reconsideration  respecto  a las  fases 
anteriores  de  ejecucion  del  programa  (necesidades,  objetivos,  disefio,...).  Los  elemen- 
tos a considerar  seran: 

— utilization  adecuada  de  recursos 

— temporalizacion  de  actividades 

— implication  de  los  destinatarios  en  las  actividades 

— obtencion  de  information 
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4)  Evaluacion  de  resultados 

Hasta  hace  poco  tiempo  era  el  unico  tipo  de  evaluacion  que  se  llevaba  a cabo  tras 
la  finalizacion  de  las  actividades  que  implicaba  la  ejecucion  del  programa.  En  termi- 
nos  generates,  se  trata  de  analizar  el  grado  en  que  el  programa  consigue  los  resulta- 
dos previstos  (tambien  pueden  evaluarse,  siempre  que  se  hayan  previamente 
identificado,  resultados  no  previstos  inicialmente).  Se  intenta  determinar  hasta  que 
punto  pueden  vincularse  los  logros  obtenidos  con  los  efectos  del  programa,  lo  que 
tiene  especial  interes  en  los  disenos  de  intervention  dada  la  dificultad  para  estable- 
cer  nexos  de  causalidad  y covariation  entre  las  variables  consideradas  en  el  pro- 
grama. 

La  evaluacion  de  resultados  admite  la  modalidad  de  «evaluacion  de  verification^ 
que  pretende  efectuar  comprobaciones  a base  de  patrones  claramente  identificados, 
tanto  en  base  a datos  cuantitativos  como  cualitativos,  y la  modalidad  de  «evaluacion 
comprensiva»,  que  pretende  ampliar  o profundizar  la  comprension  de  situaciones  y 
que  utiliza  basicamente  datos  cualitativos. 

La  tematica  de  la  evaluacion  de  resultados  es  amplia  y compleja,  apareciendo  trata- 
da  en  la  bibliografia  con  diferentes  terminologias:  evaluacion  de  productos,  de  la  efec- 
tividad,  de  la  eficacia,  de  la  eficiencia,...  (De  la  Orden,  1985,  1990).  Los  elementos  a 
considerar  en  la  evaluacion  de  productos  seran: 

— calidad  de  la  informacion  obtenida 

— posibilidad  de  valorar  la  consecution  de  objetivos  a partir  de  la  informacion 
disponible 

— calidad  de  los  analisis  y adecuacion  a los  datos  disponibles 

— propuestas  para  la  toma  de  decisiones 

— pertinencia  de  las  decisiones  tomadas 

5)  Metaevaluacion 

Los  elementos  a considerar  seran  las  pautas  de  cambio  estrategico  en  la  interven- 
cion y en  la  planificacion  evaluativa 

3.  LOS  DISENOS  DE  INVESTIGACION  EN  LA  EVALUACION  DE  PROGRAMAS 

La  evaluacion  de  efectos  supone  la  election  de  un  diseno  adecuado  de  investiga- 
tion que  permita  obtener,  analizar  e interpretar  la  informacion  relevante  para  formular 
un  juicio  de  valor  y toma  de  decisiones  apropiadas.  El  diseno  determina  la  posibilidad 
de  detectar  y comprender  los  procesos  y el  impacto  de  un  programa  educativo,  dada 
la  multiplicidad  de  factores  que  influencian  su  operation  y resultados  (De  la  Orden, 
1990). 

Los  disenos  de  evaluacion  de  programas  pueden  variar  desde  el  mas  riguroso 
experimento  de  campo  a la  description  naturalista,  pasando  por  la  diversidad  de  dise- 
nos cuasiexperimentales  o correlacionales.  Existen  muchas  propuestas  de  clasificacion 
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de  disenos  de  investigation  utilizables  en  el  ambito  espedfico  de  la  Evaluation  de  Pro- 
gramas (Fitz  Gibbon  y Morris,  1987;  Colas  y Rebollo,  1993).  Nuestra  propuesta  es  la 
siguiente: 

A)  Disenos  para  la  investigation  cuantitativa 

1)  Disenos  descriptivos-comparativos  (estudios  tipo  survey) 

2)  Disenos  longitudinales 

— secuenciales  (diacronicos) 

— transversales  (sincronicos) 

3)  Disenos  Correlacionales: 

— correlation  y regresion 

— tecnicas  de  clasificacion 

4)  Disenos  causales 

5)  Disenos  experimentales: 

— preexperimentales 

— cuasiexperimentales 

— experimentales  de  campo  (intergrupo  e intragrupo) 

B)  Disenos  para  la  investigation  cualitativa 

1)  Observation  naturalista: 

— Estudios  de  casos 

— Estudios  del  grupo 
— Estudios  de  comunidades  (etnograficos) 

— Estudios  de  situaciones  o contextos 

2)  Disenos  participativo-crfticos 
— Investigation-action 

A)  El  entorno  cuantitativo 

El  disefio  experimental 

Presenta  las  caracterfsticas  propias  del  metodo  cientifico  (repetibilidad,  estabili- 
dad  y comunicabilidad),  siendo  sus  rasgos  distintivos  la  manipulation  de  variables 
por  parte  del  investigador  y el  control  de  variables  intervinientes  en  el  fenomeno 
estudiado. 

Pretende  llegar  a establecer  relaciones  causales  entre  una  o mas  variables  indepen- 
dientes  y una  o mas  variables  dependientes,  lo  que  unicamente  sera  posible  a partir  de 
un  riguroso  control  de  las  circunstancias  en  que  podemos  llegar  a establecer  con  clari- 
dad  dicha  relation  causal. 

Se  estudian  las  modificaciones  que  sufren  las  variables  dependientes  a partir  de 
cambios  intencionados  (manipulation  o intervention)  en  las  variables  independientes. 
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La  exactitud  de  la  relation  establecida  entre  ambas  dependera  de  la  calidad  del  control 
ejercido  sobre  otras  variables  intervinientes,  bien  a partir  de  medios  fisicos  (similitud 
de  situaciones),  bien  a partir  de  tecnicas  aleatorias. 

Los  disenos  que  se  enmarcan  en  el  metodo  experimental  se  caracterizan  por  tener 
una  gran  validez  interna,  que  no  es  mas  que  la  capacidad  para  atribuir  ciertamente  la 
variation  observada  en  la  variable  dependiente  a la  modification  intencional  llevada  a 
cabo  sobre  la  variable  independiente  en  base  al  control  ejercido  sobre  el  resto  de  las 
variables  (Tejedor,  1994). 

El  grado  de  seguridad  de  los  resultados  de  una  investigation  no  debe  juzgarse 
exclusivamente  en  terminos  de  validez  interna.  Conviene  reconsiderar  tambien  sobre 
otros  tipos  de  validez:  externa,  estadistica,  de  constructo  y ecologica. 

Los  presupuestos  exigidos  a toda  investigation  en  terminos  de  valor  de  verdad, 
aplicabilidad,  consistencia  y replicabilidad,  se  reinterpretan  en  el  metodo  experimen- 
tal en  terminos  de  validez  interna,  validez  externa,  fiabilidad  y objetividad  (en  las 
estrategias  de  investigation  activa  y participativa  se  reinterpretaran  en  terminos  de 
credibilidad,  transferibilidad,  dependencia  y conformabilidad). 

Un  aspecto  importante  a tener  en  cuenta  por  el  evaluador  que  decida  seguir  algu- 
nas  de  las  variantes  del  metodo  experimental  es  el  problema  que  representa  la  «experi- 
mentacion  con  sujetos  humanos».  Desde  los  distintos  efectos  perturbadores  que 
pueden  modificar  las  conclusiones  obtenidas  hasta  las  interacciones  que  pueden  pro- 
ducirse  en  las  caracteristicas  personales  de  los  sujetos.  Pese  a todo,  las  criticas  mas 
fuertes  al  metodo  experimental  le  llegan  por  sus  caracteristicas  de  artificialidad,  de 
reduccionismo  de  la  realidad  que  pretende  explicar  y por  la  operacionalidad  implicita 
de  las  variables  que  se  incluyen.  Por  ello  no  consideramos  adecuada  la  aplicacion  de 
los  disenos  experimentales,  en  sentido  estricto,  en  el  marco  de  la  Evaluation  de  Pro- 
gramas. 

Experimentos  de  campo 

Sin  embargo,  si  creemos  posible,  aunque  con  muchas  limitaciones,  pensar  en  la 
modalidad  de  «experimentos  de  campo»,  que  presentando  los  mismos  presupuestos 
formales,  su  viabilidad  de  aplicacion  reside  en  el  hecho  de  llevarse  a cabo  en  marcos 
naturales,  lo  que  supone  una  evidente  reduction  de  su  validez  interna.  Kerlinger 
(1977)  caracterizaba  los  experimentos  de  campo  en  los  siguientes  terminos: 

— se  realizan  en  condiciones  naturales,  interviniendo  todas  las  variables  que  influ- 
yen  en  el  fenomeno 

— los  efectos  producidos  por  las  variables  son  generalmente  mas  fuertes  que  en  el 
laboratorio 

— existe  mayor  validez  externa,  por  su  referencia  a situaciones  mas  reales 

— existe  la  posibilidad  de  estudiar  fenomenos  complejos  en  situaciones  similares  a 
la  vida  misma;  son  aplicables  a gran  variedad  de  problemas 

— son  apropiados  para  la  demostracion  de  teorias,  comprobacion  de  hipotesis  y la 
resolution  de  problemas  practicos. 
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Entre  las  dificultades  que  puede  encontrarse  el  investigador  social  en  la  aplicacion 
de  estos  disenos  cabria  citar  los  aspectos  relacionados  con  el  control  de  variables,  con 
la  aleatorizacion  de  las  muestras  y con  la  disponibilidad  de  experimentadores  bien 
entrenados. 

Aunque  son  muchos  los  disenos  que  pueden  aplicarse  en  los  experimentos  de 
campo,  en  todos  ellos  deben  seguirse  en  su  planificacion  los  siguientes  pasos: 

— determinacion  de  las  muestras  a utilizar; 

— especificacion  de  los  tratamientos  de  cada  una  de  las  variables  independientes; 

— asignacion  de  las  condiciones  experimentales  (tratamientos)  a los  diferentes 
grupos; 

— seleccion  de  las  tecnicas  adecuadas  de  control  de  variables; 

— constitucion  de  los  «grupos  de  control»,  si  procede. 

Cuasi-experimentos 

Cuando  no  es  posible  establecer  un  control  efectivo  sobre  las  variables  intervinien- 
tes,  el  investigador  social  puede  recurrir  a disenos  de  control  parcial  o cuasi-experi- 
mentos. Debera  prestarse  en  su  aplicacion  especial  interes  a las  variables  que  no  se  han 
podido  controlar  y considerar  la  posibilidad  de  que  los  resultados  que  obtenga  (rela- 
ciones  entre  las  variables  independientes  y dependientes)  puedan  deberse  mas  a la 
influencia  de  las  variables  no  controladas  que  a los  efectos  de  las  variables  indepen- 
dientes. 

La  carencia  de  control  se  produce  basicamente  por  la  imposibilidad  de  manipular 
la  variable  independiente  y por  las  dificultades  de  asignar  aleatoriamente  los  sujetos  a 
las  condiciones  experimentales.  Las  principales  caracterfsticas  de  un  diseno  cuasi- 
experimental  serian: 

— el  empleo  de  escenarios  naturales,  generalmente  de  tipo  social; 

— la  carencia  de  un  control  experimental  completo; 

— el  uso  de  procedimientos  (produccion  de  observaciones  multiples)  como  susti- 
tutos  del  control  experimental  intentando  minimizar  y,  en  algunos  casos  elimi- 
nar,  los  efectos  de  tantas  fuentes  de  invalidez  interna  como  sea  posible; 

— su  disponibilidad,  ya  que  pueden  realizarse  cuando  no  es  posible  la  aplicacion 
de  un  diseno  experimental  (de  laboratorio  o de  campo). 

Pueden  considerarse  aportaciones  ingeniosas  de  los  disenos  experimentales  a 
investigaciones  naturales,  que  utilizan  para  la  evaluacion  del  cambio  producido  por 
las  condiciones  estudiadas  grupos  de  control  no  equivalentes. 

Los  numerosos  disenos  cuasi-experimentales  se  pueden  encuadrar  en  una  de  las 
dos  modalidades  siguientes: 

1.  Disenos  simples  de  series  temporales.  Realizan  medidas  de  la  variable  dependiente 
antes  y despues  de  la  aplicacion  de  la  variable  independiente;  el  posible  efecto 
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de  esta  puede  ser  estimado  en  funcion  de  la  discontinuidad  que  presentan  las 
medidas  tomadas  despues,  que  se  puede  manifestar  bien  por  un  «cambio  de 
nivel»,  bien  por  un  «cambio  de  tendencia  o inclinations  El  analisis  de  la  serie 
temporal  puede  conducirnos  a evaluar  el  efecto  como  continuo  o permanente, 
pasajero  o momentaneo,  instantaneo  o retardado. 

Disenos  de  grupo  de  control  no  equivalente.  Donde  el  investigador  trabaja  con  gru- 
pos  ya  formados  de  una  manera  natural  resultando  muy  diffcil  asegurar  la  equi- 
valencia  de  los  grupos  de  control  y experimental.  Se  incluyen  medidas 
pre-tratamiento  y post-tratamiento,  la  que  nos  indica  la  influencia  de  la  variable 
independiente;  el  hecho  de  que  los  grupos  no  sean  equivalentes  introduce  una 
posible  fuente  de  error  en  la  interpretation.  Aunque  estos  disenos  pierden  vali- 
dez  interna  respecto  a los  experimentos  de  campo,  su  aplicabilidad  con  grupos 
naturales  les  convierte  en  los  disenos  mas  utilizados  en  la  investigation  educati- 
va  y social. 

El  metodo  psicometrico 

Cuando  el  objetivo  del  estudio  no  es  el  establecimiento  de  relaciones  de  causalidad 
entre  las  variables  analizadas  sino  el  analisis  de  la  covariation  o concomitancia  entre 
las  mismas,  el  investigador  puede  recurrir  a los  metodos  psicometricos  o correlaciona- 
les.  Su  aplicacion  es  procedente  cuando  no  se  tiene  informacion  sobre  los  antecedentes 
del  hecho  que  se  estudia  y no  precede  la  asignacion  aleatoria  de  los  sujetos  a grupos 
diferenciados. 

El  estudio  de  las  relaciones  entre  variables  va  a llevarse  a cabo  en  un  unico  momen- 
to  temporal.  El  interes  del  investigador  reside  mas  en  la  busqueda  de  regularidades  o 
irregularidades  en  el  conjunto  de  datos  analizados  que  en  el  contraste  de  hipotesis 
especfficas.  Su  principal  contribution  consiste  en  determinar  la  importancia  relativa 
de  las  variables  para  la  description  y explication  de  un  hecho  o fenomeno. 

La  finalidad,  en  la  mayor  parte  de  los  casos,  es  descriptiva.  Se  estudia  un  conjunto 
de  variables  (una  selection  rigurosa  de  las  mismas  contribuye  a clarificar  la  interpreta- 
tion de  los  resultados)  en  una  muestra  con  el  fin  de  obtener  informacion  sobre  el 
entramado  de  variables  e individuos  analizados.  Los  pasos  a seguir  en  la  aplicacion 
de  estos  metodos  serfan: 

— especificacion  de  la  poblacion  de  interes; 

— fijacion  de  la  forma  de  obtencion  de  los  datos; 

— delimitation  de  las  variables  a estudio; 

— selection  o construction  de  los  instrumentos  para  la  medida  de  las  variables; 

— forma  o recogida  de  los  datos  (a  traves  de  encuestas  y cuestionarios); 

— establecimiento  de  las  categorfas  de  clasificacion  de  los  datos; 

— tipo  de  analisis  a realizar,  en  funcion  del  objetivo  del  estudio. 

Este  metodo  puede  concretarse  en  disenos  muy  variados,  todos  ellos  encuadrados 
en  una  de  estas  dos  categorfas:  disenos  descriptivos  o disenos  correlacionales. 


332 


2. 


El  disefio  y los  disenos  en  la  Evaluacion  de  Programas 


333 


1)  Disenos  descriptivos.  Su  objetivo  fundamental  es  posibilitar  la  comparacion  de 
comportamientos  de  grupos  en  diferentes  variables,  que  no  estan  bajo  control  del 
investigador  sino  que  han  ocurrido  de  forma  natural  y sin  intervencion  experimental. 
Su  finalidad,  por  tanto,  es  basicamente  descriptiva.  Sus  limitaciones  mas  importantes 
son:  la  falta  de  control  sobre  la  variable  criterio,  la  imposibilidad  de  establecimiento  de 
relaciones  causales  y la  distinta  familiaridad  que  los  grupos  puedan  tener  respecto  a 
los  instrumentos  de  medida  utilizados. 

Como  modalidad  basica  de  este  tipo  de  disenos  destacamos  los  estudios  de  encues- 
ta  (tipo  survey),  con  un  esquema  tipo  de  investigacion  que  incluye  las  siguientes  fases: 

— Definicion  del  problema, 

— Establecimiento  de  hipotesis,  considerandos, . . . 

— Seleccion  de  variables 

— Seleccion/ elaboration  de  instrumentos 

— Medida  de  variables 

— Analisis  de  datos,  conclusiones  y toma  de  decisiones 

2)  Disenos  correlacionales.  Nos  permiten  comprender  la  complejidad  del  fenomeno  o 
hecho  social  estudiado,  determinando  las  variables  relacionadas  con  el  mismo  o las 
dimensiones  basicas  en  las  que  se  puede  descomponer.  El  esquema  tipo  de  trabajo  es 
similar  al  presentado  para  los  disenos  descriptivos.  Pueden  distinguirse  a su  vez  tres 
modalidades: 

a)  En  la  modalidad  de  «disenos  de  covariacion»  su  finalidad  es  descriptiva  resul- 
tan especialmente  adecuados  para  los  casos  siguientes:  realizar  analisis  explora- 
torios  en  campos  poco  estudiados  o con  estructuras  complejas;  establecer 
tipologias  y/o  dimensiones  basicas  en  un  conjunto  de  variables;  conocer  rela- 
ciones entre  variables,  que  posteriormente  pueden  estudiarse  con  metodologias 
experimentales. 

b)  La  modalidad  de  «disenos  correlacionales  predictivos»  se  aplican  cuando  se 
tiene  un  mayor  conocimiento  de  la  relacion  entre  las  variables,  de  forma  que 
pueden  categorizarse  como  variables  criterio  o como  variables  predictoras  (este 
status  puede  cambiar  de  una  investigacion  a otra).  Su  objetivo  fundamental  es 
predecir,  pronosticar,  el  comportamiento  de  un  grupo  de  sujetos  en  una  variable 
criterio  determinada,  a partir  del  conocimiento  de  su  relacion  con  un  conjunto 
de  variables  predictoras. 

c)  Una  tercera  modalidad  de  disenos  correlacionales  son  los  denominados  «dise- 
nos  correlacionales  causales».  Se  situan  en  un  punto  intermedio  entre  la  ineto- 
dologia  correlacional  y la  experimental.  Sobrepasan  el  nivel  descriptivo  y 
exploratorio  aproximandose  al  explicativo,  aunque  para  conseguir  este  sea 
necesario  que  el  modelo  explicitado  resulte  de  la  deduction  hipotetica  de  una 
teorfa.  No  permiten  estos  disenos  generar  nuevas  teorias,  sino  contrastar  empi- 
ricamente  las  deducciones  obtenidas  en  un  marco  conceptual.  Las  relaciones 
causales  se  estudiaran  a partir  de  las  correlaciones  empiricas  entre  las  variables. 
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El  argumento  que  lo  posibilita  es  el  hecho  de  considerar  que  la  correlacion  no 
implica  causalidad,  mientras  que  la  causalidad  implica  correlacion  Batista  y 
Coenders,  2000). 

Todos  los  disenos  correlacionales  presentados  habria  que  encuadrarlos  en  la  cate- 
goria  de  «estaticos»,  en  la  medida  en  que  se  analizan  las  relaciones  entre  variables  o 
los  cambios  ocurridos  en  momentos  determinados  de  tiempo.  La  inclusion  del 
«tiempo»  como  variable  explicativa  nos  conduce  a la  consideracion  de  «disenos 
dinamicos  o evolutivos»,  de  relativa  complejidad  y con  un  numero  importante  de 
modalidades  de  aplicacion:  disenos  evolutivos  descriptivos,  estrategias  secuencia- 
les,  transversales  y longitudinales,  estrategias  secuencial  transversa,  secuencial  de 
cohorte,  secuencial  de  tiempo...,  todas  ellas  resultantes  de  la  consideracion  aislada  o 
conjunta  de  los  componentes  edad,  momento  de  la  medida,  cohorte  o generation  a 
la  que  se  pertenece. 

B)  La  observacion  (cientifica  y naturalista) 

Esta  estrategia  metodologica  basica  de  investigacion  en  la  Evaluation  de  Progra- 
mas  debe  girar  en  torno  a la  observacion  realizada  cientificamente;  es  decir,  utilizando 
tecnicas  que  permitan  lograr  el  maximo  control  y objetividad  de  la  realidad  o hecho 
educativo,  siendo  recomendada  la  utilization  de  diferentes  modalidades  metodologi- 
cas  de  observacion:  sistematica,  participativa,  externa,... 

La  observacion  desempena  un  importante  papel  en  la  investigacion  al  proporcio- 
nar  a la  ciencia  los  hechos,  uno  de  sus  elementos  fundamentals.  Mediante  la  observa- 
cion, rigurosa  y cuidada,  el  investigador  va  descubriendo  pautas  que  le  capacitan  para 
ir  dando  forma  a sus  teorias.  La  observacion  cientifica  supone  la  selection  deliberada 
de  algun  aspecto  significativo  de  los  fenomenos,  en  cierta  situacion  y en  un  momento 
determinado,  un  detenido  examen  que  puede  requerir  el  uso  de  procedimientos  e ins- 
trumentos  de  precision  y la  presentation  de  resultados. 

La  observacion  constituye  pues  uno  de  los  aspectos  mas  importantes  del  metodo 
cientifico  (de  hecho  todas  las  ciencias  comienzan  por  la  observacion),  dependiendo, 
en  gran  parte,  la  consecution  de  los  objetivos  cientificos  del  rigor  y la  precision  con 
que  dicha  observacion  se  haya  realizado.  La  observacion  requiere,  para  ser  cientifica 
y en  virtud  de  las  condiciones  que  informan  el  quehacer  cientifico,  ser  controlada,  o 
sea,  ser  objetiva  y comprobable;  debe  emplear  una  serie  de  procedimientos  y tecni- 
cas que  eliminen  al  maximo  las  posibles  fuentes  de  distorsion  y error  y establecer 
adecuadamente  las  condiciones  bajo  las  cuales  se  ha  observado  un  determinado 
fenomeno. 

La  observacion  tiene  como  finalidad  obtener  information  sobre  algo,  por  lo  que 
hay  que  empezar  por  delimitar  el  fenomeno  a analizar,  situandolo  en  el  marco  de  una 
teoria,  de  la  que  parte  y a la  que  pretende  conformar.  La  observacion  debe  ser  realiza- 
da en  condiciones  especificamente  establecidas,  las  cuales  actuan  a modo  de  reglas 
que  establecen  la  naturaleza  de  la  situacion  en  que  se  realizaran  las  observaciones  y los 
procedimientos  o instrumentos  que  deberan  ser  utilizados. 
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En  el  contexto  de  la  Evaluacion  de  Programas,  la  observacion  cientifica  se  concre- 
ta  como  metodo  que  podemos  denominar  «observacion  naturalista».  Este  metodo  se 
caracteriza  porque  el  analisis  de  la  realidad  se  basa  en  la  observacion  de  los  compor- 
tamientos  naturales  del  grupo  social  de  referenda:  clase,  barrio,  comunidad,  distri- 
to...  Su  objetivo  fundamental  es  el  estudio  intensivo  de  los  fenomenos  complejos  que 
conforman  la  vida  de  un  grupo  de  personas,  con  finalidad  comprensiva  que  debe 
conducirnos  a propuestas  para  subsanar  las  carencias  educativas  y culturales  perci- 
bidas. 

Existen  numerosas  tecnicas  de  observacion,  que  se  generan  en  funcion  del  ambien- 
te  en  que  se  realiza  (ambiente  natural  y ambiente  artificial),  en  funcion  de  la  utiliza- 
tion o no  de  registros  observacionales  (observacion  estructurada  o no  estructurada),  y 
en  funcion  de  la  actitud  que  adopte  el  investigador  respecto  al  proceso  social  observa- 
do  (investigacion  participativa  o no  participativa). 

El  diseno  determina  la  posibilidad  de  detectar  y comprender  los  procesos  y el 
impacto  de  un  programa  educativo,  dada  la  multiplicidad  de  factores  que  influencian 
su  operation  y resultados  (De  la  Orden,  1990).  Podemos  considerar  las  siguientes  pau- 
tas  como  esquema  general  de  trabajo  en  la  aplicacion  del  metodo  observacional  (Mar- 
tinez Arias,  1981;  Garaigordobil,  1999): 


— definir  las  metas  del  estudio 

— establecer  las  muestras  que  seran  observadas 

— decidir  si  la  observacion  sera  participante  o no 

— modo  de  entrar  en  contacto  con  los  sujetos 

— muestrear  los  ambientes  y situaciones  en  que  se  desarrollara 

— muestrear  las  unidades  temporales 

— establecer  el  procedimiento  de  recogida  de  datos 

— fijar  las  categorias  de  clasificacion  de  las  conductas  a observar 

— considerar  las  posibles  tecnicas  de  organization  y analisis  de  datos 


Las  ventajas  fundamentals  residen  en  la  posibilidad  de  estudiar  conductas  no  ver- 
bales  y estudiar  comportamientos  en  toda  su  complejidad.  Sus  principals  inconve- 
nientes  para  una  aplicacion  optimizada  serian  la  carencia  de  information  sobre 
variables  antecedentes  que  puedan  ayudar  a describir  los  hechos  observados;  los  ries- 
gos  de  carga  subjetiva  que  pueden  asociarse  a las  conclusiones  obtenidas  por  el  obser- 
vador;  los  riesgos  de  reactividad  de  la  presencia  del  observador  (pueden  evitarse  con 
una  presencia  larga  o encubierta);  la  dificultad  de  establecer  categorias  claras  que 
orienten  los  registros;  la  utilization  de  muestras  reducidas;  el  entrenamiento  de  los 
distintos  observadores;  y las  dificultades  del  investigador  para  introducirse  en  el 
ambiente  que  se  desea  observar  (Rodriguez,  Gil  y Garcia  Jimenez,  1996;  Goetz  y 
LeCompte,  19888;  LeCompte,  1995). 

La  observacion  como  tecnica  basica  en  la  investigacion  cualitativa  puede  tener 
aplicaciones  en  diferentes  formas  y contextos,  lo  que  determina  las  diferentes  estrate- 
gias  de  investigacion  cualitativa,  con  notas  peculiares  y diversidad  de  concreciones: 
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estudio  de  casos,  de  grupos,  estudios  etnograficos  (Rodriguez,  Gil  y Garcia  Jimenez, 
1999). 

C)  El  entorno  interpretativo-critico 

La  elaboration  de  un  diserio  desde  la  perspectiva  critica  implica  aceptar  las 
siguientes  premisas  basicas  (Colas  y Rebollo,  1993,  p.  112): 

— El  diserio  esta  estrechamente  vinculado,  conceptual  y practicamente,  con  la 
action-intervention 

— Los  receptores  del  programa  se  convierten  en  agentes  de  la  evaluacion 

— Los  procesos  evaluativos  los  realizan  y sirven  a los  implicados 

— La  secuencia  evaluativa  es  ciclica:  comienza  con  el  diagnostico  y termina  en  la 
valoracion  global  del  contexto  social  y personal.  No  se  pueden  aislar  aspectos  o 
dimensiones  del  programa  para  su  evaluacion. 

— El  analisis  e interpretation  de  los  datos  de  hace  de  forma  colectiva  a la  luz  de  un 
contexto  social  y politico  mas  amplio.  En  el  analisis  se  utiliza  information  sobre 
como,  quien,  cuando  y donde  se  obtienen  los  datos 

La  investigacion  en  la  accion  deben  ser  entendida  como  la  sintesis  de  dos  dimen- 
siones indisociables  de  un  mismo  proyecto;  solo  asi  se  puede  comprender  la  practica; 
la  finalidad  de  la  investigacion  es  a la  vez  explicativa  y normativa:  se  investiga  para 
perfeccionar  nuestro  conocimiento,  fundamentar  racionalmente  la  practica  y transfor- 
mar  la  realidad.  La  actividad  desarrollada  es  a la  vez  un  acto  de  investigacion  y un 
acto  sustantivo. 

La  investigacion-accion  podria  definirse  como  el  estudio  de  una  situation  social 
(escolar)  con  el  fin  de  mejorar  la  calidad  de  accion  dentro  de  la  misma.  En  la  investiga- 
cion-accion las  teorias  no  se  hacen  validas  de  formas  aislada,  para  ser  aplicadas  des- 
pues a la  practica.  Se  hacen  validas  por  medio  de  la  practica  (Rodriguez  Rojo,  1991). 

La  investigacion-accion  propuesta  por  Kurt  Lewin  (1951)  posee  las  siguientes 
caracterfsticas: 

— Es  una  actividad  desarrollada  por  grupos  o comunidades  con  el  proposito  de 
cambiar  las  circunstancias  de  acuerdo  con  una  idea  compartida. 

— Es  una  practica  social  reflexiva,  donde  no  cabe  hacer  ninguna  distincion  entre 
la  practica  que  se  investiga  y el  proceso  de  investigacion  de  esa  practica.  Las 
practicas  (sociales,  escolares,...)  son  consideradas  como  «actos  de  investiga- 
cion»,  como  «teorias  en  accion»  o «explicaciones  hipoteticas  que  han  de  ser 
examinadas  y valoradas  en  terminos  de  su  potencialidad  para  realizar  cam- 
bios  valiosos.  Si  una  practica  social  como  la  enserianza  es  considerada  como 
una  actividad  reflexiva  ya  no  existe  la  division  del  trabajo  entre  los  que  la 
ejercen  y los  que  la  investigan  (Elliot  y otros,  1986,  p.  12;  Elliot,  1990;  Elliot, 
1993). 
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Lewin  establecia  un  proceso  disciplinado  de  investigacion  en  la  accion,  con  un 
claro  paralelismo  con  el  metodo  cientifico,  y articulado  en  una  espiral  de  actividades 
realizadas  en  el  siguiente  orden: 

— clarificar  y diagnosticar  una  situacion  problematica  para  la  practica 

— formular  estrategias  de  accion  para  resolver  el  problema 

— poner  en  practica  y evaluar  las  estrategias  de  accion 

— nueva  aclaracion  y diagnosis  de  la  situacion 

Los  puntos  esenciales  que  definen  y caracterizan  la  investigacidn-accion  y el  papel 
a desempenar  por  esta  estrategia  metodologica  de  investigacion  en  los  procesos  de 
innovation  son  analizados  con  detalle  por  Perez  Serrano  (1990,  pp.  53-54). 

La  investigacion  participativa  representa  una  propuesta  metodologica  para  el  cam- 
bio  social.  Es  una  perspectiva  cientifica  o ideologica  para  estimular,  apoyar  y facilitar 
los  procesos  de  transformation.  Sus  principios  epistemologicos  significan  una  manera 
de  acercamiento  a la  realidad  social:  se  trata  de  conocer  transformando  (Gabarron  y 
Hernandez,  1994,  p.  23). 
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LAVALIDEZ  EN  LA  EVALUACION  DE  PROGRAMAS 

J.  M.Jornet,  J.  A 1.  Suarez  y A.  Perez  Carbonell1 


INTRODUCCION 

El  tema  de  la  Validez,  en  cualquiera  de  los  ambitos  que  afectan  a las  CC.  De  la  Edu- 
cation, es  un  tema  recurrente  y,  por  lo  tanto,  tratado  con  exhaustividad  y acierto  por  la 
gran  mayoria  de  autores  que,  en  algiin  momento,  lo  han  atendido.  Por  ello,  mas  que 
acercamos  a el  desde  una  perspectiva  estrictamente  de  fundamentacion  metodologica, 
en  la  que  poco  se  puede  aportar,  estimamos  que  quiza  es  mas  adecuado  revisar  este 
tema  desde  las  implicaciones  que  se  derivan  de  las  experiencias  evaluativas  en  las  que 
hemos  estado  inmersos,  refiriendo  eso  si  los  componentes  teorico-metodologicos  con 
los  que  nos  sentimos  mas  identificados.  Por  ello,  este  trabajo  lo  estructuramos  en  dos 
grandes  apartados:  a)  Del  concepto  de  Validez,  y b)  Estrategias  de  consecution  de  la 
Validez. 

I.  DEL  CONCEPTO  DE  VALIDEZ 

El  Concepto  de  Validez  es  dependiente  del  proceso  a que  se  aplique,  asi  como  de 
las  caracteristicas  de  la  posicion  epistemologica  desde  la  que  se  aborde.  Por  ello,  esti- 
mamos necesario  antes  de  referimos  al  Concepto  de  Validez,  definir  nuestra  posicion 
respecto  a la  Evaluacion  de  Programas,  como  proceso,  y en  cuanto  a su  orientation 
epistemologica  y metodologica. 

La  Emluacion  de  Programas.  como  Investigacion  Aplicada,  viene  especificada  funda- 
mentalmente  por  su  objeto,  su  finalidad  o finalidades  asi  como  por  el  contexto.  Como 
proceso  de  investigacion,  este  debe  ser  riguroso,  estar  bien  controlado  y realizarse  de 
forma  sistematica.  Entendemos,  pues,  que  la  Evaluacion  de  Programas  (Alvira,  1996; 
Perez  Carbonell,  1998  y 1999;  Rogers  y Owen,  1999;  Perez  Juste,  2000): 


1 Dpto.  MIDE  de  la  Universitat  de  Valencia.  Fac.  Filosofia  y CC.  De  la  Education.  Avda.  Blasco  Ibanez, 
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• Requiere  del  mismo  grado  de  control,  rigor  y sistematizacion  que  se  le  exige  a 
cualquier  otro  tipo  de  investigacion  que  pretende  alcanzar  un  conocimiento, 
maxime  teniendo  en  cuenta  que  pretende  identificar  elementos  para  intervenir 
sobre  lo  evaluado  (es  decir,  de  una  u otra  forma,  pretende  servir  de  base  para  un 
proceso  en  que  se  implican  decisiones). 

• Constituye  un  tipo  de  investigacion  con  caracteristicas  muy  definidas: 

— Tiene  una  utilidad  inmediata  que  exige  la  aportacion  de  un  alto  grado  de  con- 
fianza  en  los  resultados  que  de  ella  se  ofrecen  asi  como  en  los  procedimien- 
tos  utilizados  para  alcanzar  dichos  resultados. 

— Esta  impregnada  de  cuestiones  de  valor,  como  ^conviene  modificar  algo?,  <;esta- 
mos  realizando  un  trabajo  efectivo?,  ^se  esta  alcanzado  lo  pretendido?... 

— Se  encuentra  condicionada  por  factores  sociales  y politicos  que  la  involucran  en 
situaciones  excesivamente  complejas. 

• Por  ello,  precisa  de  una  Planificacion  en  la  que  se  anticipe  el  comportamiento  de 
los  componentes/ elementos  que  intervienen  en  su  propio  proceso. 

No  obstante,  bajo  el  termino  Evaluacion  de  Programas  coexisten  diversos  tipos  de  apro- 
ximaciones,  cjue  resultan  en  ocasiones  muy  divergentes  en  cuanto  a los  planteamientos  episte- 
mologicos  y metodologicos  en  que  se  sustentan,  o bien,  simplemente,  en  cuanto  a sus 
campos  de  actuation.  En  este  caso,  la  reflexion  que  aportamos  se  centra  respecto  a la 
Evaluacion  de  Programas  como  campo  metodologico,  es  decir,  asumiendola  como 
sinonimo  de  la  Investigacion  Evaluativa. 

Si  realizamos  un  breve  recorrido  histdrico  sobre  las  corrientes  que  han  estado  presen- 
tes  en  el  panorama  de  la  Investigacion  Educativa,  y que  por  lo  tanto  influyen  en  la 
delimitation  del  concepto  de  Validez  en  la  Evaluacion  de  Programas,  hay  que  senalar 
que  ha  sido  el  positivismo  y postpositivismo  con  su  propio  metodo  cientffico  el  que  se 
presenta  con  una  mayor  tradicion  cientffica  dentro  de  las  Ciencias  de  la  Educacion.  Sin 
embargo,  en  esta  tradicion  la  aplicacion  de  estas  aproximaciones  no  ha  sido  uniforme 
y se  puede  observar  un  continuo  que  va  desde  el  cumplimiento  absoluto  de  todos  los 
aspectos  que  marcan  y caracterizan  un  planteamiento  cientifico-naturalista  a nivel 
epistemologico,  ontologico  y metodologico,  hasta  el  cumplimiento  mas  laxo  de  los 
mismos  (De  Miguel,  1988;  Suarez,  1989;  Dendaluze,  1995,  1997;  Aliaga,  2000).  Esto 
quiere  decir,  que  si  bien  en  la  metodologia  Positivista  y Postpositivista  hay  una  serie 
de  requisitos  que  deben  estar  presentes  para  llegar  a estimar  el  impacto  de  un  posible 
agente  causal  (variable  Programa)  en  algun  efecto  potencial  (variable  Resultado  al 
implementar  el  Programa),  como  son  el  control  y la  aleatorizacion,  lo  estan  pero  con 
graduaciones  que  van  desde  un  mayor  a un  menor  cumplimiento.  Hablamos,  trasla- 
dandolo  a la  terminologia  que  utilizamos,  del  continuo  que  va  desde  lo  Experimental 
a lo  No  Experimental  pasando  por  lo  Cuasi-experimental. 

En  el  momento  en  el  que  el  positivismo  (ahos  60  hasta  ahos  80)  recibe  mayores  cri- 
ticas  es  cuando  empieza  a tomar  fuerza,  en  cuanto  a metodologia  de  investigacion  en 
Educacion,  el  Constructivismo.  Como  es  sabido,  este  enfoque  esta  integrado  por  una 
gran  variedad  de  fuentes  y que  confluyen  en  torno  al  concepto  de  Versthen  (compren- 
sion  de  los  significados  de  las  acciones  humanas,  Jacobs,  1987).  Su  finalidad  es  la  de 
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llegar  a comprender  la  intencionalidad  en  la  actuation  de  un  agente  y no  si  ese  agente 
es  la  causa  o el  efecto.  Desde  esta  perspectiva,  la  explication  causal  y la  prediction  del 
positivismo,  es  sustituido  por  la  Comprension  — de  la  intencionalidad  de  las  acciones 
y de  las  percepciones  de  los  sujetos  que  pueden  contemplarse  desde  la  Investigacion 
fenomenologica,  la  etnografica,  la  participativa,  la  Investigacion- Action,  la  fenomeno- 
grafica... — . 

Superado  el  debate  paradigmatico  (Cook  y Reichardt,  1986;  Cook  y Shadish,  1994; 
Reichardt  y Rallis,  1994),  en  los  ultimos  arios  los  paradigmas  Cualitativos,  y en  especial 
el  Interpretative)  y para  el  Cambio,  influyen  de  forma  decisiva  en  todos  los  acercamien- 
tos  que  pueden  enmarcarse  en  la  Investigacion  Educativa,  y,  con  mayor  enfasis,  en  sus 
ambitos  mas  aplicados  (Colas,  1995;  Chelimsky  y Shadish,  1997).  Las  posiciones  actua- 
tes mas  representativas  abogan  por  la  Complementariedad  Metodoldgica  (Krathwohl, 
1987;  Mateo,  1990;  Tejedor,  Garcia- Valcarcel  y Rodriguez,  1994;  Dendaluze,  1995;  Cres- 
well,  1994, 1998;  Bericat,  1998;  Buendia,  1998).  Lo  cierto  es  que  en  el  ambito  de  la  Eva- 
luation de  Programas,  es  dificil  dar  respuesta  ajustada  a los  problemas  que  aborda,  si 
no  nos  situamos  en  una  position  flexible.  Desde  ella  nos  aproximaremos  a la  revision 
del  Concepto  de  Validez. 

Desde  este  punto  de  vista,  en  la  Evaluation  de  Programas  se  pueden  identificar 
diversas /flggtas  del  concepto  de  Valjdez  de  especial  enfasis.  Para  acercarnos  a ellas  parti- 
mos  de  una  definition  generica  de  la  Validez  en  la  Evaluation  de  Programas: 

El  grado  en  que  un  proceso  de  Evaluacion  de  Programas  atiende  de  forma  adecuada  los 

componentes  metodoldgicos  implicados  con  elfin  de: 

• representar  de  forma  realista  las  caracteristicas  del  objeto  que  evaliia, 

• facilitar  la  consecucion  de  los  fines  establecidos  para  el  Plan  de  Evaluacion, 

• respetar  los  intereses  de  todos  los  implicados  o afectados  por  la  evaluacion, 

• representar  el  contexto  en  el  desarrollo  del  Plan  de  Evaluacion,  en  la  modulacion  de 
la  interpretacion  de  resultados  y en  la  adecuacion  de  las  consecuencias  de  la  evalua- 
cion,  y 

• coadyuvar  a la  mejora  o innovacion  de  lo  evaluado. 

En  definitiva,  la  Validez  es  un  concepto  multidimensional,  que  ha  sido  referido  en 
diversos  momentos  y situaciones  haciendo  enfasis  en  diferentes  acepciones.  Aplicado 
— y aplicable — a cualquier  estrategia  de  acercamiento  a la  realidad  (desde  la  investi- 
gacion basica,  los  instrumentos  de  recogida  de  information  o la  investigacion  aplicada 
y el  diagnostico),  es  el  criterio  sustantivo  desde  el  que  valorar  la  calidad  de  cualquiera 
de  estos  procesos.  Desde  la  position  que  vamos  desarrollando,  la  Validez  alude  enton- 
ces  al  Criterio  de  Calidad  de  todo  el  proceso . y como  tal  es  relatvvo  y por  lo  tanto  gradual.  No 
se  puede  hablar  de  la  Validez  como  una  caracteristica  que  se  de  o que  este  ausente,  sino 
que,  en  todo  caso,  intrinsecamente  es  cualitativo  y globalizador,  y esta  necesariamente 
vinculado  a las  caracteristicas  del  objeto  de  evaluacion,  la  finalidad  y uso  de  los  resul- 
tados, etc.  (Swanborn,  1996;  Perales  2000).  Por  ello,  vamos  a intentar  aproximarnos  a 
el,  analizando  diversas  acepciones  que  le  serian  aplicables.  Como  medio  de  aproxima- 
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cion,  y con  el  fin  de  poder  establecer  un  orden  en  el  analisis  y exposition  del  concepto 
utilizamos  una  estrategia  basada  en  el  Analisis  de  Facetas  de  Guttman.  Asf,  distingui- 
mos  en  el  concepto  dos  tipos  de  Facetas : 

• las  que  responden  a los  componentes  clasicos  metodologicos  de  interpretation 
de  la  Validez,  como  referencias  conceptuales  desde  las  que  abordar  la  reformu- 
lation del  concepto,  y a las  que  denominamos  Facetas  subyacentes  metodoldgicas 
de  la  Validez, 

• las  que  se  pueden  identificar  en  los  componentes  espetificos  de  un  proceso  de 
Evaluation  de  Programas,  que  denominamos  Facetas  adaptativas  de  la  Validez. 

De  acuerdo  con  lo  expuesto  anteriormente,  pasamos  a comentar  las  siguientes  Face- 
fas  de  la  Validez: 

a)  Facetas  subyacentes  metodoldgicas  de  l_a  Validez,  nos  referimos  a aquellas  que  se  pue- 
den entender  como  compomentes  implicados  en  cualquier  proceso  de  investigation,  y 
que  se  especificaran  en  cuanto  a su  importancia  o relevancia,  atendiendo  a las  caracte- 
risticas  concretas  de  dicho  proceso  (definidas  por  el  objeto  a investigar,  la  finalidad, 
etc...).  Entre  ellas,  se  pueden  identificar  los  siguientes  topicos  (Rutman,  1984): 

• Facetas  genericas:  son  aquellas  que  se  pueden  identificar  con  mayor  o menor 
enfasis,  dependiendo  del  tipo  de  situation  (Programa,  Plan  de  Evaluation, 
etc...). 

1.  Validez  Interna:  se  trata  de  demostrar  que  la  asociacion  constatada  entre  el 
Programa  implementado  y el  efecto  medido  se  debe  a una  relation  causal. 
Desde  esta  position,  la  entendemos  como  conjunto  de  criterios  de  calidad  que  se 
orientan  por  los  principios  de  consistencia  y credibilidad  de  los  diferentes  elementos 
que  componen  el  proceso  de  evaluacion. 

2.  Validez  Externa:  se  trata  de  poder  generalizar  a constructos  de  mayor  nivel 
teorico  o amplitud  partiendo  de  tratamientos  y medidas  espetificas.  Enten- 
dida  como  conjunto  de  criterios  de  calidad.  Integra  el  conjunto  de  criterios  de 
calidad  que  se  orientan  por  el  principio  de  generalidad : conseguir  una  adecuada 
pluralidad  en  los  diferentes  elementos  que  componen  el  proceso  de  evalua- 
tion consistente  con  la  definition  asumida  en  cada  caso. 

• Facetas  especificas:  son  aquellas  que  se  pueden  identificar  con  mayor  o menor 
enfasis,  dependiendo  del  tipo  de  situation  (Programa,  Plan  de  Evaluacion, 
etc...). 

3.  Validez  de  Constructo:  se  trata  de  realizar  inferences  acerca  de  las  construccio- 
nes  teoricas  que  han  estado  orientando  el  planteamiento  de  la  evaluacion 
(por  ejemplo,  teorfas  organizacionales,  en  el  caso  de  evaluaciones  institucio- 
nales;  o teorfas  instruccionales,  en  casos  de  programas  de  instruction...).  Res- 
petando  la  ausencia  de  teorfas  formalmente  construfdas  y adecuandose  al 
nivel  de  desarrollo  teorico  existente  en  cada  caso.  En  este  sentido,  hay  que 
senalar  que  en  el  ambito  educativo,  los  procesos  de  evaluacion  de  programas 
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se  enfrentan  a situaciones  muy  diversas  en  las  que  se  pueden  integra,  a su 
vez,  variables  e indicadores  de  muy  diversa  construccion  teorica.  En  este 
caso,  se  trata  de  adecuar  el  proceso  metodologico  atendidendo  al  grado  de 
desarrollo  existente  para  cada  caso,  tratando  cada  situacion  en  virtud  del 
desarrollo  teorico  existente.  Efectivamente,  son  muchas  las  situaciones  en  las 
que  no  existe  no  ya  una  teoria  consolidada  que  pueda  orientar  en  el  proceso, 
sino  la  debilidad  de  la  mayoria  de  las  existentes,  o la  ausencia  de  teorfas  para 
gran  cantidad  de  situaciones.  No  obstante,  la  Evaluacion  de  Programas,  debe 
ofrecer  respuestas  en  cualquier  situacion,  si  bien  no  debe  forzar  el  desarrollo 
de  sus  procesos  en  virtud  de  requerimientos  metodologicos  que  se  han  podi- 
do  desarrollar  en  el  marco  de  usos  guiados  por  teorfas.  Asf,  el  planteamiento 
metodologico  debera  adaptarse  a las  ausencias  o debilidades  teoricas,  radi- 
cando  en  este  respeto  a la  realidad  de  la  representacion,  precisamente,  la 
validez  de  constructo  del  proceso  evaluativo.  Finalmente,  hay  que  destacar 
el  potencial  de  la  Evaluacion  para  aportar  conocimiento  — y,  por  tanto,  para 
facilitar  informacion  para  la  construccion  teorica — (De  Miguel,  1999). 

4.  Validez  de  Conclusion:  se  trata  de  realizar  inferences  validas  acerca  de  si  un 
Programa  y su  posible  efecto  estan  relacionados,  aun  sin  saber  si  esa  relacion 
es  o no  causal.  Las  Conclusiones,  en  este  caso,  deben  identificarse  en  relacion 
con  los  fines  declarados  en  la  Evaluacion.  Asf,  deben  cumplir  necesariamen- 
te  los  principios  de  consistencia  y generalidad,  atendiendo  a la  relevancia  y 
utilidad  de  la  informacion  derivada  de  la  evaluacion. 

No  obstante,  como  senalamos  anteriormente,  estas  facetas  constituyen  referencias 
globales  en  cuanto  al  planteamiento  metodologico  para  cualquier  tipo  de  Evaluacion 
de  Programas.  La  importancia  diferencial  de  cada  una  de  ellas,  dependera,  como  es 
obvio,  del  tipo  de  Programa  a Evaluar,  asf  como  de  los  demas  factores  implicados,  fun- 
damentalmente  la  finalidad  de  la  evaluacion  y su  contexto,  y condiciones  de  desarro- 
llo. En  este  sentido,  unicamente  senalar  algun  ejemplo: 

• Durante  el  Diseno  de  un  Programa  de  Formacion  se  realiza  una  evaluacion  para 
comprobar  su  eficacia,  eficiencia  y funcionalidad2;  el  objetivo  es  identificar  los 
elementos  a mejorar  y,  en  definitiva,  optimizar  el  Programa.  En  este  supuesto, 
pueden  concurrir  todas  las  facetas  descritas. 

• Por  otra  parte,  podemos  acercarnos  a otro  supuesto:  la  evaluacion  del  grado  en 
que  un  Programa  de  Formacion  Ocupacional,  orientado  a la  insercion  laboral  de 
las  personas  que  asisten  a el,  logra  sus  objetivos.  En  este  caso,  la  finalidad  del 
Programa  de  Formacion  (insercion  laboral),  asf  como  las  condiciones  de  control 
en  que  se  desarrolla,  situan  el  enfasis  en  otros  aspectos  de  la  Validez,  como  la 
calidad  en  la  representacion  del  logro  de  los  objetivos  que  se  persegufan  en  su 
puesta  en  marcha,  o la  utilidad  de  la  informacion  que  de  el  se  deriva  para  aque- 
llos  que  deben  tomar  decisiones  acerca  del  Programa.  El  impacto  del  Programa, 


2 En  el  sentido  definido  por  De  la  Orden  (1990). 
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por  tanto,  situa  el  interes  de  la  Evaluation  en  la  esfera  de  sus  consecuencias, 
mas  que  en  la  de  sus  procesos.  En  esta  lfnea,  la  evaluation  de  este  tipo  de  Pro- 
gramas  puede  orientarse  primordialmente  hacia  el  impacto  del  programa,  por 
lo  que  la  Validez  de  la  Evaluation,  tambien  se  dirigira  hacia  este  aspecto  (Mohr, 
95;  Apodaka,  99).  Lo  mas  importante  en  este  caso  sera  que  la  Evaluation  pueda 
ofrecer  information  adecuada  acerca  de  la  insertion  profesional  de  los  asisten- 
tes  al  Programa.  La  amplitud  del  concepto  que  reflejen  los  indicadores  de  inser- 
tion, asi  como  los  elementos  explicativos  de  la  misma,  constituiran  elementos 
clave  para  la  validation  del  plan  de  evaluation.  Asf,  por  ejemplo,  no  se  podra 
considerar  igualmente  valido  un  Programa  que  se  limite  a controlar  cuantas 
personas  han  encontrado  trabajo  despues  de  realizar  el  Programa  de  Formation 
(en  diversos  momentos:  despues  de  un  mes,  tres  meses  o un  ano...),  que  otro 
que  ademas  considere  otros  elementos,  como  la  adecuacion  del  trabajo  conse- 
guido  en  funcion  de  la  formation  recibida,  la  covariation  posible  de  la  insertion 

con  otras  variables  (personales edad,  sexo,  curriculum... — , sectoriales  y/o 

sociales  — tejido  empresarial  de  la  localidad  en  que  se  encuentra  trabajo, 
elementos  ciclicos  de  la  economia,  ... — , etc...),  o el  analisis  de  los  beneficios 
personales  obtenidos  a partir  del  Programa  (con  independencia  de  la  mera 
insertion). 

Estas  matizaciones  nos  llevan  a considerar  otras  facetas  de  la  Validez  de  la  Evalua- 
tion de  Programas,  que  cobran  especial  enfasis  en  virtud  de  las  caracteristicas  de  la 
Evaluation  de  Programas  como  ambito  aplicado  de  investigation.  A ellas  nos  referi- 
mos  en  el  apartado  siguiente. 

b)  Facetas  adaptativas  de  la  Validez,  porque  se  implican  en  tanto  en  cuanto  el  proceso 
de  Evaluation  de  Programas  debe  atender  a todos  los  componentes  necesarios  para 
conseguir  sus  fines  (mejora,  innovation,  cambio...).  Se  pueden  identificar  en  los 
siguientes  grandes  nucleos  procesuales: 

• En  relacion  con  la  Representacion  del  Objeto.  Se  trata  del  grado  en  que,  en  la  Eva- 
luation, se  seleccionan  indicadores  y criterios  que  se  ajusten  a aquello  que  se 
desea  evaluar.  La  identification  de  instrumentos,  fuentes  de  information,  tipo 
de  information  que  se  va  a facilitar,  utilization  de  la  misma,  etc...,  forman  parte 
de  la  misma. 

En  este  sentido,  hay  que  senalar  que  en  la  Evaluation  de  Programas,  en  multi- 
ples ocasiones,  se  producen  disfunciones  entre  los  planteamientos  que  animan 
los  procesos  de  evaluation  y su  traduction  u operativizacion  en  los  indicado- 
res que  los  sustentan.  Asf,  revisemos  unicamente  algun  ejemplo:  los  procesos 
de  mejora  de  la  calidad  aluden  a este  concepto  como  la  referenda  que  orienta 
la  evaluation,  asf  como  la  finalidad  de  la  misma  (mejora  de  la  calidad).  No 
obstante,  las  definiciones  acerca  de  la  Calidad  de  cualquier  programa  educati- 
vo  suelen  ser  muy  genericas.  Recuerdan  en  alguna  medida  el  rol  que  juegan 
las  definiciones  de  Rasgos  Psicologicos  como  orientadoras  de  los  tests  psico- 
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metricos3.  De  esta  forma  bajo  una  misma  definicion  de  Calidad  de  un  Progra- 
ma  se  pueden  identificar  evaluaciones  muy  diversas,  orientadas  hacia  el  Pro- 
grama,  o hacia  su  efecto,  o unicamente  sobre  algunos  elementos  procesuales4 
(Dendaluze,  1991). 

En  la  Evaluacion  de  Programas,  la  representation  del  objeto,  necesariamemte,  nace 
del  compromiso  entre  todos  los  elementos  de  definition  de  la  evaluation.  No  solo  se 
trata  de  definir  que  se  evalua,  sino  que  hay  que  entender  que  ello  es  necesaria- 
mente  interdependiente  con  todos  los  restantes  componentes  de  la  evaluacion: 
para  que,  como,  a quien  y de  que  modo  se  pide  informacion,  que  informacion  se 
va  a aportar,  que  usos  se  haran  con  ella,  etc...  Este  compromiso  global  de  todos 
los  componentes  en  la  definicion  del  objeto  a evaluar  persigue  la  idea  de  Cohe- 
rencia  como  base  para  aspirar  a la  Validez  en  cualquier  proceso  de  evaluacion. 
Por  ello,  es  un  aspecto  central  en  la  Planificacion  y diseno  de  la  Evaluacion. 
Implica  por  lo  tanto,  todas  las  facetas  que  se  relacionan  con  el  planteamiento 
metodologico  e instrumental:  establecimiento  del  diseno,  determinacion  de  los 
procesos  de  la  evaluacion,  seleccion  de  indicadores  e instrumentos,  tipos  de 
analisis  de  la  informacion,  usos  de  la  misma,  etc... 

• Adaptation  al  proceso  evaluado.  Se  trata  de  llevar  a cabo  los  diferentes  elementos 
del  proceso  de  la  Evaluacion,  respetanto  el  proceso  natural  de  desarrollo  del 
Programa  Educativo.  En  esta  lfnea,  hay  que  senalar  los  elementos  que  coadyu- 
van  a la  consecucion  de  la  Validez,  se  pueden  sintetizar  en  el  Respeto  a los  proce- 
sos que  se  evaluan,  no  interfiriendo  en  los  mismos.  La  introduccion  de 
expectativas  por  el  hecho  de  la  realizacion  de  la  evaluacion,  los  condicionantes 
que  pueda  suponer  su  realizacion  para  el  proceso  o para  los  diferentes  actores 
implicados  en  el  mismo,  entre  otros  aspectos,  pueden  introducir  elementos  que 
interfieran  en  el  normal  desenvolvimiento  de  lo  que  se  esta  evaluando. 

• Integration  Contextual.  Otro  elemento  sustancial  de  la  Validez  es  la  consideration 
de  las  diferentes  variables  que  pueden  afectar  al  Programa  evaluado  y,  por  ello, 
deben  ser  atendidas  como  elementos  de  contextualizacion.  Estos  elementos  ser- 
viran  de  base  para  la  extension  de  la  Comprension,  y en  su  caso,  Explicacion  de 
los  resultados.  Por  ello,  son  fundamentales  como  componentes  de  modulacion 
de  la  interpretacion  y comprension  de  la  situacion  evaluada. 

• Participation  e implication  de  audiencias.  Desde  la  posicion  epistemologica  y meto- 
dologica  en  que  nos  situamos,  es  necesario  considerar  que  la  consecucion  de  los 
fines  de  la  evaluacion  solo  son  posibles  si  se  atiende  adecuadamente  la  Partici- 


3 Recuerdese,  por  ejemplo,  la  siguiente  definicion:  el  test ...  esta  destinado  a valorar  la  capacidad  para 
conceptualizar  y aplicar  el  razonamiento  sistematico  a nuevos  problemas  y aprecisar  las  funciones  centrales 
de  la  inteligencia:  abstraction  y comprension  de  relaciones.  Segun  los  autores  del  mismo  es  el  objetivo  del 
Test  D-48.  La  excesiva  distancia  entre  la  definicion  del  objeto  a evaluar  (Rasgo:  Inteligencia),  y la  operativi- 
zacion  de  su  medida  es  un  claro  indicador  de  falta  de  Validez  (en  este  caso,  hablarfamos  de  carencias  en 
cuanto  a su  Validez  de  Constructo  y de  Contenido,  como  instrumento  de  medida). 

4 En  este  mismo  numero  monografico  hacemos,  junto  a la  profesora  Ma  J.  Perales,  una  revision  de  los 
Planes  de  Evaluacion  de  la  Formation  Ocupacional  y Contfnua.  En  el  se  incluye  una  referencia  concreta  a la 
consideration  del  concepto  de  Calidad  en  estas  Evaluaciones.  Puede  ilustrar  los  extremos  que  en  este  punto 
comentamos. 
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pacion  de  los  diferentes  actores  implicados  en  el  Programa  (De  Miguel,  1995). 
La  Validez  de  la  Evaluacion,  desde  esta  perpectiva,  dependera  del  grado  en  que 
se  haya  ajustado  la  participacion  de  todos  ellos,  de  acuerdo  con  su  nivel  de 
implicacion  y expectativas.  Estos  aspectos  se  conjugan  en  diferentes  momentos 
del  proceso,  desde  la  participacion  en  la  definition  del  objeto  a evaluar  y sus 
finalidades,  pasando  por  el  tipo  de  informacion  que  se  requiere  y como  se  reco- 
ge,  hasta  la  informacion  que  se  hace  disponible  y como  se  difunda.  Lo  cierto  es 
que  impregna  todo  el  proceso  de  evaluacion  y,  por  ello,  debe  ser  adecuadamen- 
te  atendida  en  toda  su  Planificacion  y Desarrollo. 

• Compromise)  con  el  Cambio:  Credibilidad  y Utilidad.  Finalmente,  esta  faceta  es  pro- 
bablemente  la  mas  determinante  en  cuanto  a las  consecuencias  de  la  Evalua- 
cion. La  Evaluacion  de  Programas,  desde  la  posicion  de  que  partimos,  solo  es 
posible  considerarla  valida  si  aporta  los  elementos  de  mejora  e innovation  que 
se  pretendia  identificar  y que  justificaban  la  puesta  en  marcha  del  proceso.  Estas 
facetas,  ya  descritas  por  otros  autores  (Tejedor,  2000;  Mateo,  1990),  son  a su  vez 
consecuencia  de  haber  atendido  adecuadamente  todas  las  anteriormente  descri- 
tas, y base  para  la  valoracion  global  del  proceso.  En  definitiva,  procesos  evalua- 
tivos  metodologicamente  bien  construidos  y desarrollados,  no  son  asumidos 
como  validos,  por  la  falta  de  credibilidad  que  dimana  de  alguno  de  los  compo- 
nentes  anteriores  que  no  se  han  atendido  bien,  o por  la  falta  de  utilidad  de  la 
Evaluacion. 

En  cualquier  caso,  esta  faceta  no  depende  de  los  momentos  finales  del  proceso 
evaluativo,  sino  que  empieza  a construirse  en  el  momento  en  que  se  comienza 
con  la  evaluacion,  adaptando  de  forma  coherente  todo  el  proceso  y atendiendo 
todas  las  facetas  senaladas. 

2.  ESTRATEGIAS  DE  CONSECUCION  DE  LA  VALIDEZ  EN  EVALUACION  DE 

PROGRAMAS 

En  los  procesos  de  investigation  y evaluacion  enmarcables  dentro  de  posiciones 
postpositivistas,  la  Validez  — tanto  Interna  como  Externa — se  vincula  a diversos  facto- 
res,  favorables  a su  consecucion,  o bien  que  atentan  contra  ella.  Desde  la  posicion  que 
revisamos,  aunque  constituye  una  reinterpretation  conceptual,  obviamente  tambien  los 
hay.  Sin  embargo,  dadas  las  caracterfsticas  de  esta  presentation,  no  vamos  a realizar  un 
analisis  exhaustivo  de  los  mismos,  sino  que  vamos  a acercarnos  a su  delimitation 
tomando  como  base  las  diversas  etapas  de  desarrollo  en  que  podria  enmarcarse  un  pro- 
ceso de  Evaluacion  de  Programas5.  Para  ello,  integramos  las  acciones  que  se  implican 


5 Identificar  Etapas  alude  a la  referencia  de  una  secuencia  logica  que  nos  permita  centrar  el  analisis. 
Entendemos  que  en  estos  Procesos  debe  adoptarse  una  actitud  dinamica  que  los  convierta  en  un  esquema 
de  trabajo  flexible.  Ello  no  quiere  decir  que  queden  fuera  de  este  planteamiento  situaciones  como  los  dise- 
nos  emergentes.  Es  obvio  que,  en  ellos,  no  serfa  posible  identificar  estas  grandes  categorias  de  funciona- 
miento,  tal  cual  lo  hacemos  aquf.  Sin  embargo,  la  election  del  esquema  de  reflexion  se  basa  en  la  pretension 
de  abordar  el  tema  desde  una  perpectiva  general,  aunque  produzca  problemas  en  cuanto  a su  aplicacion  a 
tipos  de  aproximaciones  mas  espetificas.  El  fundamento  del  enfoque,  no  obstante,  es  el  mismo. 
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en  los  procesos  de  evaluacion  en  dos  grandes  conjuntos:  a)  la  Planificacion  de  la  Eva- 
luation, y b)  la  Gestion  de  la  Information.  Pasamos  a comentarlas  a continuation. 

• Planificacion  de  la  Evaluacion:  Construction  del  plan  de  trabaio,  adaptation  y desariQz 
Uo  del  mismo. 


Por  Planificacion  entendemos  el  conjunto  de  actividades  que  van  anticipando  y 
haciendo  posible  todos  los  elementos  a tener  en  cuenta  en  el  proceso  de  evalua- 
tion (Jomet,  Suarez  y Belloch,  1998).  Incluira  desde  los  elementos  metodologi- 
cos  clasicos  (decisiones  en  cuanto  al  diseno  de  la  evaluation,  elementos  de 
opera  tivizacion,  etc...),  junto  a todos  los  componentes  psicosociales  implicados 
en  el  desarrollo  de  una  evaluacion  (identification  de  audiencias,  promotion  de 
la  aceptacion  de  la  evaluacion,  establecimiento  de  consensos  en  cuanto  a todos 
los  componentes  del  proceso,  etc...). 

En  cualquier  caso,  debe  tenerse  en  cuenta  que  hablar  de  Planificacion  no  impli- 
ca  necesariamente  referirse  a procesos  en  que  es  posible  anticipar  todos  los  ele- 
mentos a tener  en  cuenta.  Por  ello,  si  bien  se  puede  entender  como  una  action 
que  comienza  con  anterioridad  a la  puesta  en  marcha  de  cualquier  evaluacion, 
debe  abordarse  como  un  componente  de  flexibilizacion,  que  debe  presidir  todo 
el  desarrollo  del  proceso,  facilitando  las  modificaciones  y adaptaciones  del 
mismo  segun  sea  necesario. 

Por  ello,  los  elementos  que  pueden  coadyuvar  en  esta  actividad  a la  consecu- 
tion de  la  Validez  son  muy  diversos.  Entre  ellos  los  mas  relevantes  pueden  ser: 

• Participantes,  roles  y responsabilidad.es. 

Probablemente  uno  de  los  elementos  clave  de  cualquier  proceso  de  evaluacion 
es  la  integration  de  los  diversos  implicados  de  acuerdo  con  su  grado  de  respon- 
sabilidad  y rol.  Obviamente,  desde  la  definition  de  lo  que  va  a ser  objeto  de  eva- 
luacion, pasando  por  la  finalidad  de  la  misma  y uso  de  la  information,  etc. ..la 
Evaluacion  de  Programas  debe  estar  enmarcada  en  un  proceso  claro  de  partici- 
pation, facilitando  el  desarrollo  de  evaluaciones  en  los  que  todos  los  elementos 
esten  consensuados.  Es  claro  que  en  este  tipo  de  procesos  nos  encontramos  con 
situaciones  muy  diversas,  desde  evaluaciones  orientadas  a la  rendition  de  cuen- 
tas  en  las  que  se  sustenta  el  proceso  sobre  evaluadores  externos  hasta  otras  neta- 
mente  orientadas  a la  mejora  e innovation  basadas  en  la  autoevaluacion.  En 
cualquier  caso,  en  todas  ellas,  habra  que  analizar  los  grados  de  participation  de 
todos  los  colectivos  implicados  y favorecer  su  participation,  promoviendo 
estrategias  de  evaluacion  basadas  en  la  aceptacion  y credibilidad. 

En  este  marco,  son  importantes  las  estrategias  basadas  en  la  creation  de  comites 
que  integren  a representantes  de  los  diversos  colectivos  implicados,  determinar 
el  rol  de  los  evaluadores  en  los  mismos.  Estas  estrategias  pueden  constituir  la 
base  para  la  consecution  del  consenso  en  los  diferentes  momentos  por  los  que 
transita  un  proceso  de  evaluacion. 
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® Definition  del  Objeto  a Evaluar  y Finalidad  de  la  Evaluation 

El  objetivo  inicial  es  delimitar  el  objeto  y finalidades  de  la  Evaluacion  en  termi- 
nos  de  validez/credibilidad,  tanto  interna  — la  consistencia  del  planteamiento  del 
problema  respecto  a la  situacion  espedfica  que  se  pretende  abordar  y a las  otras 
respuestas  que  se  han  dado  en  situaciones  similares — > como  externa  — credibili- 
dad  para  los  agentes  y audiencias  implicadas  en  los  mismos — . 

En  este  sentido,  las  estrategias  basicas  de  acercamiento  a la  Validez,  requieren, 
junto  a un  planteamiento  metodologico  riguroso  y ajustado,  de  la  participation 
de  todos  los  implicados.  Se  trata  de  valorar  y adecuar  la  orientacion  de  la  evalua- 
cion, identificar  los  obstaculos  que  puedan  producirse  para  llevar  a cabo  el  pro- 
ceso  (desde  su  realizacion  a sus  consecuencias),  promover  la  aceptacion  de  la 
evaluacion  y anticipar  los  limites  de  utilizacion  de  la  Evaluacion.  Para  ello,  la 
negotiation  constituye  la  base  mas  adecuada  para  desarrollar  este  proceso. 

Los  componentes  basicos  en  este  caso  son: 

— Determinar  que  es  lo  que  se  va  a evaluar  a nivel  operativo,  y 

— Definir  los  usos  finales  de  la  evaluacion. 

En  este  caso,  un  elemento  que  se  va  introduciendo  paulatinamente  es  el  de  Con- 
trato  de  Evaluation.  Una  fuente  frecuente  de  invalidez  de  los  procesos  de  Evalua- 
cion de  Programas  reside  en  los  cambios  que  se  van  introduciendo  a lo  largo  del 
proceso  de  evaluacion,  que  pueden  llevar  a conllevar  utilizaciones  no  previstas 
de  la  misma.  Asimismo,  en  muchos  casos  hemos  observado  como  la  institucio- 
nalizacion  de  un  proceso  en  lugar  de  constituir  un  elemento  de  mejora  del 
mismo,  conlleva  perjuicios  en  1 os' usos  de  los  sistemas  de  evaluacion;  la  presen- 
cia  de  cambios  sucesivos  en  los  gestores  de  la  institucion  usuaria  de  la  evalua- 
cion, facilita  este  tipo  de  cambios6. 

• Construir  el  plan  de  trabajo 

Se  trata  de  traducir  en  terminos  de  actuacion  el  problema  que  se  ha  planteado. 
Esta  traduccion  que  guia  todo  el  plan  de  trabajo  debe  reunir  condiciones  d efide- 
lidad  y generalidad.  Asi,  por  una  parte,  es  preciso  mantener  una  conexion  perma- 
nente  con  las  ideas  clave  o caracteristicas  fundamentales  de  la  definicion  del 


6 Obviamente,  ademas  de  un  problema  de  validez  para  las  Evaluaciones  de  Programas,  constituye  un 
problema  etico  para  los  evaluadores.  Lo  cierto  es  que  en  este  contexto,  es  claro  que  si  un  sistema  se  desarro- 
11a  para  una  institucion,  atendiendo  a un  uso  determinado,  si  bien  el  sistema  es  de  la  Institucion,  los  impli- 
cados en  su  desarrollo  deberfan  estar  amparados  en  algun  elemento  contractual  que,  cuanto  menos, 
asegurara  los  usos  previstos,  de  forma  que  en  caso  de  que  la  institucion  deseara  introducir  variaciones,  lo 
debiera  hacer  a traves  de  alguna  adaptacion  en  la  que  la  responsabilidad  quedara  circunscrita  a quienes  lo 
promuevan  y utilicen.  Este  tipo  de  situaciones,  que  conlleva  la  progresiva  desvirtuacion  de  procesos  que  se 
disenaron  para  propositos  diferentes,  por  desgracia  es  habitual  y va  mas  alia  de  la  implicacion  de  la  validez. 
Este  es  un  elemento  que  se  ha  desarrollado  en  aquellos  contextos  en  los  que  la  Evaluacion  presenta  un 
mayor  nivel  de  consolidacion  social  y profesional,  parti cularmente  en  los  EE.UU.  de  Norteamerica. 
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objeto  y finalidad  de  la  evaluacion,  realizando  una  traduccion  fidedigna  de  las 
mismas  — de  forma  que,  por  ejemplo,  esten  todas  las  dimensiones  que  aparecen 
en  el  problema  y que  se  seleccione  una  informacion  relevante  para  las  mismas — . 
Y por  otra  parte,  la  generalidad  de  la  traduccion  implica  atender  a la  validez 
externa  del  plan  de  trabajo.  Es  decir,  supone  un  planteamiento  de  las  claves  del 
mismo  desde  la  perspectiva  no  solo  de  la  situacion  concreta  que  se  aborda,  sino 
que  es  conveniente  atender  a las  soluciones  observadas  en  situaciones  de  la 
clase  a la  que  pertenezcan. 

En  la  Evaluacion  de  Programas  es  frecuente  que  se  produzca  una  tension  entre 
ambos  principios ,fidelidad  y generalidad,  mas  agudizada  que  en  otros  ambitos  de 
trabajo.  En  este  caso,  el  proceso  se  mueve  por  una  demanda  concreta  de  un 
«cliente»  sobre  una  situacion  especffica,  asf  como  otras  audiencias.  Elio  conlleva 
que  en  ocasiones  se  mantenga  la  fidelidad  en  detrimen  to  de  la  generalidad.  No 
obstante,  la  clave  de  la  validez  en  este  caso  es  la  fidelidad,  si  bien  la  generalidad 
puede  constituir  un  componente  que,  de  poderse  dar  de  forma  concomitante, 
facilitarfa  la  explication  e interpretation  de  resultados  al  disponer  de  elementos 
de  comparabilidad  y contextualizacion  externos  a la  propia  evaluacion. 

En  este  caso,  la  fidelidad  de  la  traduccion  del  problema  debe  asegurarse  en  fun- 
cion  de  los  siguientes  componentes: 

— Determinacion  de  la  estructura  del  diseno:  determinacion  de  los  roles  de  las 
variables  e indicadores  sobre  las  que  se  sustentan,  momentos  de  recogida  de 
informacion,  evaluabilidad  de  las  informaciones,  etc... 

— Seleccion  de  indicadores  adecuados, 

— Identification  de  la  mejor  fuente  de  informacion,  en  cada  caso,  para  cada 
indicador. 

• Recogida  de  Informacion. 

Se  trata  de  realizar  la  recogida  de  informacion  atendiendo  a las  condiciones  en 
que  pueda  asegurarse  la  maxima  calidad  y representatividad  de  la  misma,  en  vir- 
tud  de  los  objetivos  y finalidades  de  la  evaluacion,  no  produciendo  para  ello 
disrupciones  en  la  dinamica  habitual  del  Programa.  Asf,  en  esta  etapa  existen 
diversas  condiciones  a tener  en  cuenta: 

— Conseguir  una  relation  adecuada  entre  la  fuente  que  nos  va  a dar  la  informa- 
cion y el  procedimiento  que  vamos  a utilizar  para  recogerla. 

— Seleccionar  los  instrumentos  y tecnicas  de  recogida  de  informacion  de  acuer- 
do  a criterios  de  bondad  de  los  mismos  (fiabilidad  y validez). 

— Recoger  la  informacion  en  el  momento  mas  adecuado  considerando  tanto  la 
no  intromision  en  el  desarrollo  del  Programa,  como  la  calidad  derivada  del 
mismo  (por  ejemplo,  evaluando  el  impacto  de  un  programa  de  insertion, 
momentos  de  recogida  de  informacion  posteriores  a la  realization  del  Pro- 
grama: a corto,  medio  y largo  plazo...). 
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— Utilizar,  en  lo  posible,  estrategias  que  permitan  el  contraste  y validation  de 
la  information,  a traves  de  fuentes,  procedimientos  y/o  instrumentos  multi- 
ples (por  ejemplo,  triangulacion,  validation  convergente...). 

• Analisis  de  Datos,  sintesis  de  la  information  y su  preparation  para  la  Toma  de  Decisiones. 

Las  dimensiones  basicas  a atender  como  criterios  de  calidad  del  proceso  serian 
garantizar  la  consistencia  de  la  sintesis  de  information  con  el  planteamiento  del 
problema  y la  credibilidad  de  la  misma  para  las  audiencias  implicadas.  En  esta 
etapa,  los  componentes  basicos  son  los  siguientes: 

— La  coherencia  interna  de  la  evaluation,  se  basa  en  el  desarrollo  de  un  proceso 
de  analisis  de  datos  ajustado  al  planteamiento  del  problema  y uso  posterior 
de  la  information  derivada  de  la  evaluation,  atendiendo  a los  diversos  roles 
de  las  variables  implicadas,  con  el  fin  de  ampliar  al  maximo  los  elementos  de 
comprension  y explication  de  resultados. 

— La  coherencia  externa,  alude  a la  credibilidad  de  los  resultados  para  los  diferen- 
tes  actores  implicados.  Esto  supone  valorar  la  consistencia  externa  para  estas 
audiencias  de  la  sintesis  de  information  que  se  ha  llevado  a termino.  En  rea- 
lidad este  proceso  se  situa  entre  esta  Etapa  de  actuation  y la  siguiente,  dado 
que  una  parte  del  mismo  se  lleva  a cabo  dentro  del  Proceso  de  Difusion  de  la 
information. 

• Gestion  de  la  information.  Constituye  el  segundo  nucleo  de  acciones  desde  el  que 
abordar  el  problema  de  los  criterios  de  calidad  del  proceso  de  evaluation.  En  el  dife- 
renciamos  tres  grandes  momentos:  durante  el  proceso  de  evaluation,  en  su  finaliza- 
tion y despues  de  haberse  realizado  la  evaluation. 

• Durante  el  proceso  de  evaluation. 

Una  caracteristica  basica  que  es  conveniente  tener  en  cuenta  a lo  largo  de  cual- 
quier  proceso  de  Evaluation  de  Programas  es  la  flexibilidad  para  adaptar  el 
mismo  en  virtud  de  las  informaciones  que  vayan  recabandose  y analizandose. 
Es  decir,  la  planificacion  se  retroalimenta  a traves  del  ajuste  sucesivo  de  todos 
los  componentes  del  Plan  de  Evaluation  durante  su  implementation.  Esta 
adaptabilidad  del  Plan  esta  al  servicio  de  la  fidelidad  y la  generalidad  del 
mismo,  asi  como  coadyuva  en  el  logro  de  la  credibilidad  y utilidad  de  la  eva- 
luation. 

• En  la  finalization  del  proceso  de  evaluation:  Difusion  de  Information. 

En  la  Etapa  de  la  Difusion  de  la  information,  el  objetivo  central  es  ofrecer  infor- 
mation — al  cliente  y a las  demas.  audiencias  implicadas — > sobre  cuales  son  los 
resultados  y los  criterios  basicos  en  que  puede  sustentarse  la  interpretation  de 
los  mismos  y la  toma  de  decisiones.  En  este  caso,  las  dimensiones  vuelven  a ser 
la  coherencia  en  la  difusion  de  la  information  y la  credibilidad  de  los  medios  utili- 
zados  para  los  agentes  implicados. 
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El  criterio  de  coherencia  interna  supone  atender  a la  conexion  entre  los  Informes  y 
lo  previamente  establecido  de  manera  consensuada  en  las  etapas  anteriores  del 
proceso.  Asi,  sera  preciso  aportar  la  informacion  que  se  haya  pactado  al  inicio 
del  proceso  con  cada  audiencia,  atendiendo  a su  grado  de  responsabilidad  e 
implicacion  en  el  Programa  y en  la  Evaluacion,  sus  intereses  y posibles  usos  de 
la  informacion.  Ademas  se  deben  atender  condiciones  de  calidad  en  los  meca- 
nismos  de  difusion  de  la  Informacion:  utilizacion  de  un  lenguaje  ajustado  a la 
audiencia  a la  que  se  dirige,  estructuracion  de  la  informacion  adecuada  a las 
preguntas  que  se  pretende  responder,  atencion  a la  oportunidad  temporal  para 
los  objetivos  basicos  propuestos  (Tejedor,  1997;  Elliott,  Fischer,  y Rennie,  1999). 
Estos  mismos  aspectos  deberan  considerarse  desde  la  perspectiva  de  la  coheren- 
cia externa  para  garantizar  la  credibilidad  de  los  mecanismos  de  la  difusion  de  la 
Informacion  a las  diferentes  audiencias  implicadas. 

• Despue's  del  proceso:  valoracion  global  del  mismo  y seguimiento  de  las  consecuencias  de 
la  evaluacion. 

Un  elemento  adicional,  pero  de  gran  importancia,  lo  constituyen  las  estrategias 
metaevaluativas  (De  la  Orden  y Martinez  de  Toda,  1999)  y las  de  seguimiento 
de  los  procesos  de  implementacion  de  las  soluciones  aportadas  a traves  de  la 
evaluacion  (Rodriguez  Espinar,  1997,  1998).  El  analisis  global  del  proceso  y la 
comprobacion  de  los  compromises  mantenidos  respecto  de  las  consecuencias 
de  la  evaluacion  pueden  constituir  elementos  clave  de  validacion  global  del 
Plan  de  Evaluacion. 

A MODO  DE  CONCLUSION 

En  primer  lugar,  es  preciso  recordar  que  la  Evaluacion  de  Programas  es  algo  mas  que 
una  aplicacion  de  metodos  a traves  de  los  que  se  enumeran  resultados.  Hay  que  ser 
conscientes  de  que  actualmente  los  investigadores  no  son  los  unicos  que  deciden  eva- 
luar  y que  metodos  utilizar.  Elios  intervienen  en  un  sistema  de  decisiones  complejo  en 
. el  que  tambien  participan  otros  colectivos  implicados  en  el  problema  objeto  de  evalua- 
cion, como  legisladores,  administradores,  planificadores,  profesores  y alumnos,  etc... 
(De  la  Orden  y Mafokozi,  1999).  Por  ello,  es  necesaria  una  profunda  reflexion  en  cuan- 
to  a las  soluciones  metodologicas  y sus  componentes,  en  un  ambito  en  el  que  la  com- 
plementariedad  no  puede  asumirse  como  una  mera  adicion  de  aportaciones  que 
provienen  desde  diversas  opciones  epistemologicas. 

Asimismo,  la  atencion  prioritaria  que  debe  prestarse  a las  caracteristicas  del  objeto 
evaluado,  las  finalidades  de  la  evaluacion,  sus  usos,  etc...,  como  elementos  que  deben 
conducir  en  la  seleccion  de  la  solucion  metodologica  desde  la  que  abordar  el  proble- 
ma, debe  acompanarse  de  una  reflexion  respecto  al  rol  que  desarrollamos  los  que, 
desde  la  Evaluacion,  participamos  en  estos  procesos.  Los  valores,  la  ideologia,  la 
forma  de  estructurar  cognitivamente  la  informacion  — producto  de  nuestra  formacion 
metodologica  y de  nuestra  forma  de  ser — inciden  en  los  planteamientos  que  realiza- 
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mos  (House,  1994).  Por  ello,  es  conveniente  asumir  como  punto  de  partida  un  acerca- 
miento  abierto  y tolerante,  que  no  es  patrimonio  exclusivo  de  ninguna  posicion  ideo- 
logica  o epistemologica  mas  en  la  practica  que  en  el  discurso  teorico  en  que  se  basa.  La 
formacion  y profesionalizacion  en  el  ambito  de  la  Evaluation  de  Programas  puede 
constituir  un  instrumento  desde  el  que  acompanar  este  proceso  de  mejora  de  este  tipo 
de  procesos  (Scriven,  1994;  Gonzalez  Such,  Perez  Carbonell  y Perales,  2000).  No  obs- 
tante, el  camino  esta  por  recorrer,  si  bien  se  identifican  lineas  de  trabajo  prometedoras 
que  pueden  abocar  en  soluciones  ciertamente  alternatives  que  superen  las  dificultades 
existentes. 
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RESUMEN 

En  primer  lugar,  se  aborda  la  caracterizacion  del  analisis  de  datos  en  el  contexto  de  la  eva- 
luation de  programas  educativos.  Para  ello,  se  parte  de  la  consideration  de  la  evaluation  de  pro- 
gramas  como  investigation  aplicada,  de  las  etapas  de  la  misma  y de  los  tipos  de  evaluation. 

En  un  segundo  apartado  se  presentan  algunas  tecnicas  concretas  como  la  regresion  y discri- 
mination, la  segmentation,  las  tecnicas  factoriales,  las  series  temporales,  las  ecuaciones  estruc- 
turales  y,  sobre  todo,  los  modelos  jerdrcjuicos  lineales  y el  meta-andlisis. 

Por  ultimo,  se  discute  lo  relativo  a la  comunicacion  y difusion  de  datos  y resultados  distin- 
guiendo  dos  audiencias:  el  resto  de  evaluadores  y demds  miembros  de  la  comunidad  cientifica,  y 
los  clientes,  interesados  o implicados. 

ABSTRACT 

First  of  all,  the  characterization  of  the  data  analysis  in  the  context  of  the  educational  pro- 
gram evaluation  is  discussed.  For  this,  program  evaluation  is  considered  as  applied  research, 
and  the  stages  of  the  process  and  the  evaluation  types  are  examined. 

The  second  part  is  devoted  to  present  some  techniques  such  as  regression  and  discrimina- 
tion, segmentation,  the  factorial  techniques,  the  time  series,  the  structural  equations  models 
and,  above  all,  the  hierarchical  linear  models  and  the  meta  - analysis. 

Finally,  questions  related  to  the  data  and  results  communication,  presentation  and  dissemi- 
nation are  discussed  focusing  the  differences  between  two  audiences:  the  evaluators,  members 
of  the  scientific  community,  and  the  clients,  users  or  stakeholders. 
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CARACTERIZACION  DEL  ANALISIS  DE  DATOS 

A nuestro  entender,  una  manera  adecuada  de  descubrir  las  caracteristicas  especifi- 
cas  del  analisis  de  los  datos  es  situarlo  en  el  contexto  general  de  la  evaluacion  de  pro- 
gramas  y,  a partir  de  ese  punto,  comenzar  la  busqueda  de  las  notas  distintivas  que  lo 
caracterizan. 

% por  extrano  que  pueda  parecer,  hay  una  cuestion  en  la  que  todos  los  autores  basi- 
camente  coinciden,  y es  en  el  hecho  de  considerar  la  evaluacion  de  programas  como 
una  actividad  investigadora. 

En  consecuencia,  si  asumimos  lo  antedicho,  al  analisis  de  datos  le  corresponderia  la 
tarea  que  habitualmente  se  cita  cuando  se  habla  de  esta  fase  del  proceso  de  investigation 
empirica  en  ciencias  sociales  y humanas.  A saber:  proporcionar  evidencia  suficiente  o 
respuesta  a las  hipotesis  y preguntas  planteadas  mediante  tecnicas  analiticas  (habitual- 
mente estadisticas  en  el  paradigma  cuantitativo)  transformando  los  datos  en  resultados. 

Pero  evidentemente  la  cuestion  no  es  ni  mucho  menos  tan  sencilla.  La  evaluacion 
de  programas  es  una  actividad  investigadora,  pero  evaluacion  e investigation  no  son 
terminos  intercambiables.  Un  primer  matiz  es  el  de  considerar  la  evaluacion  de  pro- 
gramas como  un  caso  tipico  de  investigation  aplicada  hablandose  tambien  de  investi- 
gation evaluativa. 

La  evaluacion  de  programas  como  investigation  aplicada 

De  la  contraposition  entre  la  investigation  basica  y la  aplicada  surgen  bastantes  de 
las  notas  distintivas  que  habitualmente  se  asignan  a la  evaluacion  de  programas. 
Desde  la  perspectiva  del  analisis  de  datos,  senalemos  las  siguientes: 

En  primer  lugar,  y como  marco  general  de  referenda,  el  hecho  de  que  el  objetivo 
primordial  de  la  investigation  aplicada  no  es  la  busqueda  de  la  verdad  o la  production 
de  conocimiento,  sino  el  uso,  el  empleo  de  dicho  conocimiento  para  la  accion,  la 
intervention,  en  definitiva,  la  mejora.  Y esta  ultima  referencia  a la  mejora  cobra  espe- 
cial signification  en  el  caso  de  la  evaluacion  de  programas  educativos  (De  la  Orden, 
1985;  Tejedor,  1994;  Perez  Juste,  1995,  De  Miguel,  1999). 

De  este  caracter  aplicado  se  derivan  consecuencias  importantes  a la  hora  de  plan- 
tearse  la  fase  del  analisis  de  datos.  Asi,  las  tecnicas  analiticas  que  se  empleen  deben 
estar  claramente  orientadas  a proporcionar  respuesta  y evidencia  a las  preguntas  y 
cuestiones  que  se  hayan  planteado. 

Pero  ademas,  en  el  caso  de  las  tecnicas  estadisticas,  esta  respuesta  no  basta  con  que 
sea  estadisticamente  significativa,  ha  de  tener  signification  sustantiva  (Botella  y 
Barriopedro,  1995:  p.  197)  o prdctica  (Bickman  y Rog,  1998:  p.  xi). 

En  investigation  evaluativa  hay  que  saber  si  los  efectos  tienen  la  magnitud  sufi- 
ciente como  para  considerarlos  plenos  de  significado,  no  simplemente  estadisticamen- 
te significativos. 

Pero  es  que,  ademas  de  que  las  tecnicas  analiticas  nos  han  de  proporcionar  resulta- 
dos sustantivamente  significativos,  en  evaluacion  de  programas  hay  que  afrontar  el  hecho 
de  que  dichos  resultados  tienen  que  dar  clara  respuesta  a las  cuestiones  planteadas. 
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O dicho  en  otros  terminos:  esa  significatividad  sustantiva,  ^garantiza,  aunque  sea 
con  un  cierto  margen,  que  el  programa  ha  producido  efectos?  (Bickman  y Rog,  1998: 
p.  xiii).  ^Podemos  hablar  de  causalidad  en  la  evaluacion  del  impacto,  (Apodaca,  1999), 
o de  atribucion  causal  de  los  efectos  observados  (Gaviria,  1999)?  ^Donde  ponemos  el 
enfasis,  en  la  validez  externa  o en  la  interna?,  ^Que  grado  de  control  es  deseable  o sim- 
plemente  viable? 

Existe  acuerdo  en  que  en  la  investigacion  aplicada,  los  estudios  cuasi-experimenta- 
les  son  los  mas  frecuentes.  Desde  la  perspectiva  de  la  evaluacion  de  programas  educa- 
tivos, el  empleo  de  este  tipo  de  disenos  supone  muchas  veces  el  maximo  grado  de 
control  alcanzable. 

En  el  fondo,  todos  estos  terminos,  todas  estas  preguntas,  nos  remiten  a la  generali- 
zabilidad  — o en  termino  de  Cronbach,  extrapolabilidad — de  dichos  resultados. 

Evidentemente  en  todas  las  dicotomias  que  aqui  planteamos  subyace  un  continuo 
de  forma  que  las  respuestas  a estas  preguntas  varian  en  cada  caso.  Pero  a nadie  se  le 
escapa  que  todas  ellas  tienen  importantes  repercusiones  a la  hora  de  plantearse  el  ana- 
lisis de  los  datos. 

Pasemos  a otro  asunto.  En  la  introduction  de  la  obra  de  Bickman  y Rog  que  ya 
hemos  citado,  la  tercera  diferencia  metodologica  entre  la  investigacion  basica  y la  apli- 
cada es  formulada  bajo  el  epigrafe  «multiple  vs.  single  level  of  analysis»  y en  la  misma 
podemos  leer  que  «the  applied  researcher,  in  contrast  to  the  basic  researcher,  usually 
needs  to  examine  a specific  problem  at  more  than  one  level  of  analysis,  not  only  stud- 
ying the  individual,  but  often  larger  groups,  such  as  organizations  or  even  societies*. 
(Bickman  y Rog,  1998:  p.  xiv). 

Si  esta  afirmacion  es  valida  en  la  investigacion  aplicada  en  ciencias  sociales  en  gene- 
ral, en  lo  tocante  a la  evaluacion  de  programas  educativos  constituye  casi  un  axioma. 

De  la  Orden  (1999),  hablando  de  los  modelos  jerarquicos  lineales  afirma  que  «Consti- 
tuyen  un  marco  de  analisis  natural  para  el  tratamiento  de  datos  con  una  estructura  mul- 
tinivel  o anidada,  situation  muy  comun  dentro  de  la  investigation  educativa»  (p.  425). 

Mas  adelante  tendremos  ocasion  de  detenernos  con  mas  detalle  en  estos  modelos. 
Baste  ahora  senalar  esta  estructura  jerarquica  o anidada  como  una  de  las  notas  distin- 
tivas  mas  importantes  a la  hora  de  caracterizar  el  analisis  de  los  datos  de  las  evaluatio- 
ns de  programas  educativos. 

Llegados  a este  punto  quiza  alguien  este  ya  planteandose  si  cuando  hablamos  del 
analisis  de  datos  nos  referimos  exclusivamente  al  analisis  estadistico  de  datos.  Avanza- 
mos  que  rotundamente  la  respuesta  es  no. 

Si  hay  una  familia  semantica  que  configura  una  de  las  notas  caracteristicas  de  la 
evaluacion  de  programas,  es  la  que  se  estructura  alrededor  de  terminos  como  comple- 
mentariedad  metodologica,  enfoque  multimetodo,  «multiplismo»,  debate  cualitativo-cuantitati- 
vo,  triangulacion,  superacion  del  debate  de  paradigmas,  etc. 

No  vamos  a extendernos  en  este  punto  puesto  que  en  este  mismo  numero  hay  un 
excelente  articulo  dedicado  exclusivamente  a este  asunto.  Nos  limitamos  a constatar 
aqui  que  si  algo  caracteriza  a la  metodologia  de  la  evaluation  de  programas  es  esta 
cuestion.  Practicamente  todos  los  autores  que  han  dedicado  unas  lineas  a la  evalua- 
tion de  programas  coinciden  en  senalar  la  complementariedad  como  enfoque  mas 


i 


360 


Luis  Lizasoain  Hernandez  y Luis  Joaristi  Olariaga 


acertado  de  forma  que  el  analisis  de  los  datos  debe  llevarse  a cabo  empleando  de 
forma  complementaria  o simultanea  multiples  enfoques,  metodos  y tecnicas.  Con 
respecto  a los  paradigmas,  inmejorable  resumen  lo  constituyen  las  normas  elaboradas 
por  el  Joint  Committee  (1994)  cuando  al  tratar  del  analisis  de  la  informacion,  ofrecen 
dos  normas  de  identico  texto  con  la  unica  diferencia  de  que  la  A8  se  refiere  a la  infor- 
macion cuantitativa  y la  A9  a la  cualitativa. 

Somos  conscientes  de  que  el  asunto  tiene  en  cualquier  caso  sus  complicaciones: 
para  algunos,  el  hablar  de  multi-pies  enfoques  supone  que  es  deseable  o incluso  necesa- 
ria  la  complementation  mutua  entre  el  enfoque  cuantitativo  y el  cualitativo.  Otros  con 
ese  termino  o con  el  de  triangulacion  hacen  referenda  al  uso  de  variedad  de  tecnicas 
dentro  de  un  solo  paradigma.  Es,  por  ejemplo,  el  sentido  que  Cook  otorga  al  termino 
«multiplismo»  y que  como  tal  se  adopta  a lo  largo  de  la  obra  de  Fernandez  Ballesteros 
(1995)  asumiendo  un  enfoque  cuantitativo. 

Como  muestra  del  uso  de  tecnicas  tanto  cualitativas  como  cuantitativas  a la  hora 
de  analizar  los  datos  valgan  los  siguientes  ejemplos: 

Freixa  y otros  (1996)  emplean  tecnicas  estadisticas  para  datos  textuales  al  realizar  el 
analisis  de  contenido  de  las  respuestas  a entrevistas  semi-estructuradas.  Sogunro 
(1997)  combina  tecnicas  estadisticas  clasicas  con  el  analisis  de  contenido  de  los  datos 
cualitativos.  Yin  (1998)  al  tratar  del  estudio  de  casos  expone  la  posibilidad  de  emplear 
unidades  de  analisis  anidadas  como  muestra  de  la  factibilidad  de  simultanear  un  estu- 
dio cualitativo  y cuantitativo.  Fetterman  (1998)  al  hablar  de  los  analisis  propios  de  los 
estudios  etnograficos  (pp.  494-498)  cita  entre  otras  la  triangulacion,  elaboration  y com- 
paracion  de  patrones,  los  sucesos-clave,  el  uso  de  mapas  y graficos,  el  analisis  de  con- 
tenido, la  cristalizacion  y la  estadistica  especialmente  las  tecnicas  no  parametricas.  Otro 
ejemplo  es  el  articulo  de  Knight  y Kuleck  (1999)  titulado  The  value  of  multimethod  quali- 
tative/quantitative research  methodology  in  an  educational  program  evaluation:  a case  study. 
Hemos  transcrito  el  titulo  completo  porque  pensamos  es  lo  suficientemente  claro 
como  para  requerir  comentario  adicional  alguno.  Por  ultimo,  Gonzalez  Ramirez  (2000) 
realiza  analisis  estadisticos  (descripciones  univariadas  y analisis  de  varianza)  sobre  los 
resultados  de  los  alumnos  y analisis  de  contenido  para  evaluar  los  resultados  desde  la 
perspectiva  de  los  profesores. 

Sin  negar  la  complejidad  que  el  asunto  tiene,  con  estos  pocos  ejemplos  hemos  que- 
rido  simplemente  mostrar  que  el  mestizaje  (usando  un  termino  muy  en  boga)  metodo- 
logico  es  una  de  las  caracteristicas  mas  especificas  del  analisis  de  los  datos  en 
investigaciones  evaluativas. 

La  ultima  nota  distintiva  que  nace  de  la  contraposition  entre  investigation  basi- 
ca/ investigation  aplicada,  se  refiere  a los  agentes  que  intervienen  en  esta. 

Simplificando  un  tanto  las  cosas,  en  un  esquema  investigador  tradicional  habitual- 
mente  se  distingue  solo  entre  un  agente  (el  investigador  o equipo  investigador)  y un 
paciente  (los  sujetos  o unidades  investigadas).  (Ciertamente  no  hay  que  olvidarse  de 
los  que  evaluan  y financian  — o no — las  investigaciones,  pero  este  es  otro  asunto). 
Aqui  el  proceso  se  desarrolla  bajo  el  control  del  investigador  y los  resultados  se  comu- 
nican  a otros  posibles  agentes  mediante  la  difusion  por  los  canales  habituales  de 
comunicacion  de  la  comunidad  cientffica  formada  por  dichos  agentes. 
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Por  el  contrario,  en  la  investigacion  aplicada,  y mas  en  la  evaluacion  de  programas, 
es  extremadamente  frecuente  que  a este  esquema  haya  que  anadir  un  elemento  mas. 
Los  terminos  varfan  mucho,  pero  los  mas  frecuentes  son:  clientes,  audiencias,  interesa- 
dos,  implicados,  participantes,  etc. 

La  distincion  terminologica  es  importante  porque  trasluce  muy  diferentes  enfoques 
en  la  forma  en  que  se  aborda  el  proceso  evaluativo  y el  papel  asignado  a los  diferentes 
participantes  en  el  mismo. 

No  es  lo  mismo  el  tfpico  «encargo»  que  un  evaluador  profesional  realiza  como 
evaluador  externo,  que  un  proceso  evaluador  participativo  en  el  que  el  hipotetico 
papel  del  evaluador  sea  el  de  facilitador,  animador  o coordinador  de  un  grupo  de 
implicados  que  son  parte  activa  y los  verdaderos  agentes  de  la,  en  este  caso,  autoeva- 
luacion. 

Entre  estos  dos  extremos  se  dan  muchas  situaciones  intermedias  en  las  que  es  fre- 
cuente que  los  interesados  participen  en  algunas  fases  del  proceso  de  evaluacion,  y en 
el  caso  de  las  evaluaciones  educativas,  el  enfasis  puesto  en  la  mejora  recomienda  optar 
por  evaluaciones  internas  realizadas  por  los  mismos  profesores  (Perez  Juste,  1995: 
p.  112).  Pero  no  es  menos  cierto  que  frecuentemente  se  realizan  evaluaciones  externas 
y que,  sobre  todo,  las  condiciones  muchas  veces  aconsejan  un  enfoque  mixto. 

De  una  manera  o de  otra,  independientemente  de  lo  participativo  que  se  pueda 
considerar  el  enfoque  adoptado,  lo  importante  es  hacer  notar  aquf  que  tanto  alguna  de 
las  fases  del  proceso  evaluador  como  los  resultados  del  mismo  han  de  ser  comunica- 
dos  y compartidos  con  el  conjunto  de  agentes  implicados. 

En  el  caso  concreto  de  los  resultados,  esto  supone  que  han  de  ser  transmitidos  a 
dos  audiencias  muy  distintas:  al  resto  de  la  comunidad  cientffica,  pues  como  investi- 
gacion que  es  debe  ser  difundida  siguiendo  los  canales  y normas  al  uso;  y a los  clientes, 
implicados  o interesados,  y aquf  el  asunto  cambia  porque  este  segundo  tipo  de  audiencia 
no  tiene  por  que  compartir  (de  hecho  normalmente  no  lo  hace)  ni  el  lenguaje  ni  el 
soporte  tecnico  que  subyace  al  proceso  evaluativo. 

Y el  que  esta  comunicacion  sea  eficaz  es  crucial  para  la  evaluacion  de  programas, 
pues  no  se  trata  de  una  cuestion  accesoria  nacida  de  un  deseo  o prurito  de  difundir  o 
comunicar  al  maximo  los  resultados.  Por  el  contrario,  saber  comunicar  a los  interesa- 
dos los  resultados  del  analisis  es  objetivo  fundamental  si  queremos  que  la  evaluacion 
produzca  efectos,  sea  de  utilidad  para  la  accion  y los  procesos  de  mejora. 

Pensamos  que  las  hasta  aquf  vistas  son  — desde  la  perspectiva  del  analisis  de 
datos — las  notas  distintivas  que  emanan  de  la  consideracion  de  la  evaluacion  de  pro- 
gramas como  investigacion  aplicada.  Ahora,  para  completar  este  intento  de  caracteri- 
zacion,  centremos  nuestra  atencion  en  el  proceso  evaluativo  en  sf:  en  sus  etapas  y fases 
y en  los  tipos  de  evaluacion  que  de  las  mismas  se  derivan. 

Las  etapas  del  proceso  y los  tipos  de  evaluacion 

Dado  que  la  evaluacion  de  programas  es  una  actividad  investigadora,  la  conse- 
cuencia  que  de  ello  se  deriva  es  que  las  fases  de  la  misma  no  han  de  diferir  excesiva- 
mente  de  las  propias  del  proceso  investigador. 
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Y de  hecho  asf  ocurre.  Si  examinamos  en  la  bibliograffa  esta  cuestion,  o sin  ir  muy 
lejos,  si  observamos  el  indice  de  este  numero  monografico,  nos  daremos  cuenta  que 
casi  siempre,  despues  de  las  decisiones  sobre  el  diseno  y de  la  etapa  de  recogida  de 
informacion,  aparece  la  fase  del  analisis  de  los  datos,  a la  que  suele  seguir  la  elabora- 
tion del  informe  y la  puesta  en  practica  de  las  conclusiones. 

Y,  por  descontado,  nada  hay  que  objetar  a esta  secuencia  en  la  medida  en  que  refle- 
ja  el  orden  logico  del  proceso  investigador.  Los  matices  suelen  surgir  en  el  numero  de 
etapas  que  se  distinguen,  o en  las  diferencias  segun  los  enfoques  de  la  evaluation. 

Pero  desde  nuestra  particular  perspectiva  centrada  en  la  fase  del  analisis  de  los 
datos,  nos  interesa  senalar  que,  en  primer  lugar,  las  decisiones  sobre  que  tecnicas 
emplear  para  analizar  los  datos  van  a estar  a su  vez,  logicamente  en  funcion  de  las 
decisiones  que  en  las  fases  previas  se  hayan  ido  tomando:  que  enfoque  se  ha  dado  a la 
evaluacion  (cuantitativo/cualitativo/mixto),  que  preguntas  o cuestiones  se  plantean, 
que  disenos  se  han  empleado,  que  unidades  se  han  definido,  como  han  sido  seleccio- 
nadas  y — si  ha  sido  el  caso — asignadas,  que  tipo  de  informacion  y mediante  que  ins- 
trumentos  se  ha  recogido. 

Segundo,  si  bien  esta  secuencia  es  logicamente  consistente,  no  debe  ser  tomada  al 
pie  de  la  letra  en  el  sentido  de  que  despues  de  recoger  la  informacion,  esta  se  organiza 
y se  analiza  dando  respuesta  a las  preguntas  planteadas.  Evidentemente  el  proceso  no 
es  ni  mucho  menos  tan  lineal  porque  el  analisis  de  los  datos  es  un  proceso  abierto, 
cfclico  e interactivo:  los  resultados  de  los  analisis  preliminares  condicionan  los 
siguientes  y asf  sucesivamente,  a menudo  modificando  las  previsiones  iniciales. 

Este  caracter  abierto  de  la  fase  del  analisis  es  valido  y aplicable  a cualquier  proceso 
de  investigacion,  aunque  logicamente  en  mayor  grado  cuanto  mas  exploratorio  sea  el 
enfoque  adoptado.  Pero  en  el  caso  de  la  evaluacion  de  programas  cobra  especial  rele- 
vancia  habida  cuenta  del  papel  que  los  agentes  implicados  o interesados  pueden  jugar 
en  esta  fase.  Cuanto  mas  abierto  y participativo  sea  el  enfoque,  mas  interactivo  y cfcli- 
co es  el  analisis  de  los  datos. 

Pero  ademas  de  esta  ordenacion  logica  basada  en  las  fases  del  proceso  investigador, 
tambien  es  posible  distinguir  etapas  en  funcion  del  desarrollo,  de  la  secuencia  del  pro- 
pio  programa  a evaluar.  Aquf,  en  funcion  de  la  fase  del  proceso  en  que  se  centre  la  acti- 
vidad  evaluadora,  nos  podemos  encontrar  con  distintos  tipos  de  evaluacion: 
evaluacion  de  necesidades;  evaluacion  del  diseno;  evaluacion  de  la  evaluabilidad;  eva- 
luacion de  la  implementacion;  evaluacion  de  la  cobertura;  evaluacion  del  proceso;  eva- 
luacion de  resultados,  impactos  o producto;  y,  evaluacion  economica. 

Desde  nuestra  habitual  perspectiva  centrada  en  el  analisis  de  los  datos,  en  primer 
lugar  senalemos  que  el  analisis  de  datos  encuentra  su  lugar,  digamos,  natural  en  la 
fase  o contexto  de  la  evaluacion  de  resultados  o de  impactos. 

Segundo,  que  al  igual  que  antes,  las  tecnicas  analfticas  a emplear  estaran  tambien 
en  funcion  de  los  resultados  y de  las  consiguientes  decisiones  que  se  hayan  ido  toman- 
do en  evaluaciones  previamente  realizadas  (del  proceso,  por  ejemplo). 

Tercero,  que  las  tecnicas  analfticas  pueden  emplearse  — y de  hecho  se  emplean — 
en  muchas  fases  o tipos  de  evaluacion,  y no  solo  en  la  evaluacion  de  resultados  o de  impac- 
tos a pesar  de  que  algunos  consideren  esta  la  fase  analftica  por  excelencia.  Logicamen- 
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te  tambien,  las  tecnicas  analiticas  a emplear  estaran  en  funcion  del  tipo  de  evaluacion 
en  cuyo  contexto  se  lleven  a cabo.  Por  ejemplo,  Sanchez  y Anguera  (1993)  analizan  las 
posibilidades  que  la  tecnica  del  PERT  brinda  en  la  fase  de  la  implantacion  y planifica- 
cion  de  la  evaluacion  de  programas. 

En  el  ambito  de  la  evaluacion  economica,  ejemplos  recientes  de  lo  dicho  encontra- 
mos  en  Francis  y otros  (1999)  que  llevan  a cabo  un  analisis  de  costo-eficacia  de  un  pro- 
grama  de  tratamiento  de  drogadicciones,  o en  Plotnick  y Deppman  (1999)  que 
abordan  los  analisis  de  costo-beneficio  en  evaluacion  de  programas  en  general  y en 
programas  de  prevencion  del  maltrato  infantil  en  particular. 

En  lo  relativo  al  analisis  de  datos  en  la  evaluacion  de  necesidades,  destaca  aqui  lo 
referente  al  manejo  y analisis  de  datos  secundarios.  A saber:  indicadores,  estadisticas 
oficiales,  etc. 

Se  trata  de  instrumentos  fundamentales  para  la  evaluacion  y tanto  si  son  emplea- 
dos  en  el  analisis  de  necesidades  como  en  la  estimacion  de  los  impactos  de  un  progra- 
ma,  el  evaluador  puede  optar  por  elaborar  un  sistema  de  indicadores  ad  hoc  o por 
emplear  algunos  sistemas  de  indicadores  ya  elaborados  por  diversidad  de  organismos 
e instituciones.  Lazaro  (1992)  analiza  las  condiciones  que  los  mismos  deben  reunir, 
compara  los  de  diferentes  organismos  y examina  el  caso  especifico  de  los  indicadores 
en  educacion.  Cornejo  y Martinez  (1992)  estudian  las  posibilidades  que  brinda  el 
manejo  sistematico  de  fuentes  secundarias  de  informacion  en  evaluacion  de  progra- 
mas de  intervencion  social  y ofrecen  una  muy  interesante  aplicacion  del  analisis  de 
correspondencias  a los  datos  del  censo  de  poblacion. 

Por  ultimo,  con  respecto  a la  evaluacion  de  resultados,  no  poderrios  por  menos  que 
asumir  que  este  sigue  siendo  el  tipo  de  evaluacion  o la  fase  del  proceso  evaluativo  en 
que  se  cumple  el  objetivo  clasico  del  analisis  de  los  datos:  verificar,  con  un  grado  de 
confianza  aceptable,  que  el  programa  permite  obtener  los  resultados  planteados. 

Todas  las  cuestiones  que  anteriormente  hemos  apuntado  relativas  a la  causalidad, 
la  validez  interna,  el  control,  los  disenos,  la  integracion  metodologica,  etc.  encuentran 
aqui  perfecto  acomodo. 

Botella  y Barriopedro  (1995)  apuntan  cuatro  funciones  principales  del  analisis  de 
datos  en  la  valoracion  del  impacto:  descripcion  comprensiva  de  datos  brutos;  valorar 
si  las  relaciones  detectadas  son  o no  significativas;  estimacion  de  magnitudes  y dife- 
rencias;  y,  estimar  la  sustantividad  de  los  efectos. 

Desde  esta  perspectiva,  muchas  son  las  tecnicas  analiticas  que  aqui  se  pueden 
emplear  y,  centrandonos  en  las  tecnicas  estadisticas,  mas  adelante  trataremos  algunas 
de  ellas.  Pero  no  queremos  dejar  pasar  este  punto  sin  justificar  el  por  que  en  dicha 
exposicion  no  vamos  a tratar  de  los  analisis  descriptivos  basicos  y de  las  tecnicas  infe- 
renciales  — parametricas  y no  parametricas — clasicas. 

La  razon  es  evidente:  creemos  que  son  cuestiones  suficientemente  conocidas  y per- 
fectamente  desarrolladas  por  prestigiosos  autores  en  obras  y manuales  ampliamente 
difundidos. 

Y esta  es  la  unica  justificacion.  Queremos  dejar  claro  que  su  ausencia  no  implica 
que  esten  en  desuso  (muy  al  contrario  como  ahora  veremos)  por  ser  inadecuadas, 
excesivamente  sencillas  o simplemente  pasadas  de  moda.  Asumimos  ademas  que 
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estas  dos  ultimas  pretendidas  razones  no  son  tales,  pero,  lamentablemente,  pensamos 
que  hay  que  incluirlas  pues  todavia  a estas  alturas  hay  quien  se  rige  por  criterios  de 
moda  o actualidad  o quien  piensa  que  la  sencillez  es  un  defecto. 

Como  muestra  de  su  uso  y adecuacion,  en  las  siguientes  referencias  encontramos 
estudios  evaluativos  con  disenos  pretest-postest  en  que  el  analisis  de  los  datos  se  efec- 
tua  mediante  pruebas  parametricas  y no  parametricas  de  contraste  de  medias:  Her- 
nandez, Aciego  y Dominguez  (1994),  Echeburua  y otros  (1996),  Herraiz  (1998),  Perez  y 
Salvador  (1998),  y Filella  (2000). 

ALGUNAS  TECNICAS  ESTADISTICAS  PARA  EL  ANALISIS  DE  DATOS 

Hecha  esta  relacion  de  notas  distintivas  y de  caracteristicas  deseables  del  analisis 
de  datos  en  la  evaluacion  de  programas  educativos,  a continuacion  vamos  a comentar 
someramente  algunas  tecnicas  y procedimientos  de  analisis  que  pensamos  reciben  o 
deben  recibir  un  tratamiento  especial. 

Se  trata,  como  no  podia  ser  de  otra  manera,  de  una  selection  personal  responsabili- 
dad  de  quienes  esto  firmamos,  y,  por  tanto,  sesgada.  En  algunos  casos  hemos  incluido 
tecnicas  o procedimientos  que  consideramos  de  presencia  inexcusable  como  lo  relativo 
al  meta-analisis  o los  modelos  jerarquicos  lineales.  Muy  probablemente  todo  el  mundo 
podra  coincidir  en  ello.  Quiza  no  ocurra  lo  mismo  en  otros  casos  en  que  su  aparicion 
obedece  a razones  mas  parciales:  nuestra  personal  opinion  o nuestra  experiencia 
investigadora. 

Como  ha  quedado  dicho,  no  vamos  a ser  exhaustivos;  lo  que  a continuacion  vamos 
a hacer  es  exponer  aquellas  particularidades  de  las  tecnicas  mas  generales  en  el  senti- 
do  de  su  aplicabilidad  a problemas  de  muy  diversos  tipos. 

No  se  puede  decir  que  hay  tecnicas  especificas  de  analisis  de  datos  para  la  evalua- 
cion de  programas  (Tejedor,  1994).  Lo  que  si  es  cierto  es  que  en  funcion  del  tipo  de  eva- 
luacion algunas  son  mas  apropiadas  que  otras,  de  manera  que  en  algunos  son  mas 
convenientes  tecnicas  asociadas  a disenos  transversales  y en  otros,  longitudinales. 

Asi,  si  en  algun  caso  se  requiere  de  «jueces»  son  utiles  tecnicas  como  el  escalamiento 
multidimensional;  o el  analisis  de  datos  textuales  para  el  tratamiento  estadistico  de 
cuestiones  abiertas,  suponiendo  que  se  pretende  superar  lo  simple  con  un  contenido 
exploratorio  considerable.  Si,  por  otra  parte,  algun  aspecto  de  la  evaluacion  se  desarro- 
11a  a lo  largo  del  tiempo,  la  diversidad  de  tecnicas  cuantitativas  es  amplia,  empezando 
desde  las  tecnicas  asociadas  a los  disenos  experimentales  y cuasi-experimentales,  con 
sus  pruebas  parametricas  y no  parametricas  de  comparacion  de  dos  o mas  grupos, 
pasando  por  modelos  de  medidas  repetidas,  series  temporales,  tablas  multiples,  etc. 

A la  postre,  el  diseno  de  la  evaluacion  tambien  depende  de  las  herramientas  de  que 
se  disponga  para  el  analisis.  Es  cierto  que  quien  lo  desconoce  todo  sobre  la  metodolo- 
gia  cuantitativa  suele,  por  lo  comun,  plantear  disenos  cuyos  datos  no  hay  quien  anali- 
ce.  Pero  tambien  ocurre  lo  contrario:  a veces  se  recurre  a disenos  muy  simples  en  los 
que  se  pierde  voluntariamente  la  complejidad  de  la  realidad. 

Nuestra  idea  no  es  desarrollar  los  distintos  tipos  de  tecnicas  sino,  con  el  fin  de  ser 
utiles,  centrarnos  en  los  que  son  mas  generales.  Otros  criterios  que  tenemos  presentes 
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son  la  sencillez  de  interpretacion,  asf  como  que  tengan  condiciones  de  aplicacion  poco 
restrictivas,  pues  ya  sabemos  lo  frustrante  y cansado  que  es  el  analisis  de  los  residuos. 

Analisis  discriminante,  regresion  logistica.  Regresion  y discriminacion  no  parame- 
tricas  (tecnicas  de  segmentacion) 

Desde  una  perspectiva  parametrica,  si  la  variable  dependiente  es  dicotomica  y las 
independientes  son  cuantitativas,  podremos  aplicar  las  dos  primeras  tecnicas  citadas. 
Si  se  plantean  dudas  acerca  de  si  aplicar  una  o la  otra,  no  esta  de  mas  recordar  que 
siempre  es  mas  util  disponer  de  diversos  puntos  de  vista  por  lo  que  lo  recomendable 
es  realizar  ambos  y comparar  sus  resultados.  Pero  en  tal  caso  conviene  tener  presente 
que  el  analisis  discriminante  precisa  de  condiciones  de  aplicacion  ante  las  que  la  regre- 
sion logistica  es  mas  robusta  (en  esta  solo  hay  que  tener  precaucion  con  la  colineali- 
dad).  Un  estudio  detallado  de  ambas  tecnicas  se  puede  encontrar  en  Hair,  Anderson  y 
otros  (1999).  Hannan  y Murray  (1996)  llevan  a cabo  una  simulacion  con  metodos 
Monte  Carlo  comparando  el  rendimiento  de  los  analisis  lineales  y logisticos. 

Se  trate  de  regresion  o de  analisis  discriminante,  lo  habitual  es  utilizar  sus  versio- 
nes  parametricas,  tanto  si  se  trata  de  explicar  y predecir  como  si  el  fin  es  explorar. 
Cuando  los  datos  de  una  evaluacion  son  no  experimentales  es  preciso  explorar.  Y en 
este  caso  se  dispone  de  un  conjunto  de  tecnicas,  libres  de  restricciones  y,  aunque  con 
un  proceso  de  computation  tedioso,  de  una  gran  sencillez  de  interpretacion.  Nos  esta- 
mos  refiriendo  a la  segmentacion.  La  variable  dependiente  (unica,  pues  no  hay  genera- 
lization multivariante)  puede  ser  de  cualquier  naturaleza  asi  como  las  independientes 
o predictoras.  Consiste,  en  pocas  palabras,  en  dividir  progresivamente  la  muestra  en 
clases,  pero  esta  mas  relacionada  con  la  regresion  y la  discriminacion  que  con  las  tecni- 
cas de  clasificacion,  pues  se  trata  de  encontrar  los  grupos  de  casos  que  mejor  expli- 
quen  las  modalidades  de  una  variable  cualitativa  o los  valores  de  una  cuantitativa. 

Las  tecnicas  de  segmentacion  son  muy  usadas  en  estudios  de  mercado.  En  nuestro 
campo,  a pesar  de  las  ventajas  que  hemos  apuntado,  no  lo  son  tanto.  Una  exception  es 
el  trabajo  de  Repetto  y otros  (1994)  donde  emplearon  el  modelo  CHAID  en  el  analisis 
de  los  datos  de  la  evaluacion  de  un  programa  de  mejora  de  la  comprension  lectora. 

El  analisis  factorial  y las  tablas  multiples 

La  segmentacion  es  una  forma  de  explorar  considerando  las  variables  dependien- 
tes  de  forma  aislada.  De  alguna  manera  se  pierde  la  multidimensionalidad  de  la  reali- 
dad. Por  ello  convendrfa  recurrir  a los  modelos  exploratorios  por  excelencia.  Esto  es,  el 
analisis  factorial  (analisis  factorial  en  factores  comunes  y especfficos  asf  como  compo- 
nentes  principales  y analisis  factorial  de  correspondencias). 

Dada  la  naturaleza  de  las  variables  a considerar  en  todo  fenomeno  social  o educati- 
vo  y siguiendo  a los  ya  citados  Cornejo  y Martinez  (1992),  el  analisis  de  corresponden- 
cias es  una  eficaz  herramienta  para  la  description  y evolution  en  el  tiempo  de  los 
fenomenos  macrosociales  implicados  en  la  evaluacion  de  programas.  Para  ilustrar 
dicha  afirmacion,  aplican  el  analisis  de  correspondencias  a los  datos  del  censo  de  pobla- 
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cion  operando  con  once  indices  de  riesgo  de  desadaptacion  social  en  la  infancia  extrai- 
dos  de  dichas  fuentes  con  el  fin  de  caracterizar  las  situaciones  de  riesgo  potencial. 

Otros  estudios  evaluativos  en  que  se  emplean  estas  tecnicas  son  los  realizados  por 
Carballo  (1990),  y por  los  tambien  previamente  citados  Freixa  y otros  (1996);  y Kreft 
(1998)  que  usa  la  terminologia  sajona  refiriendose  al  analisis  de  correspondences 
como  analisis  de  homogeneidad. 

Pero  ademas  de  la  perspectiva  apuntada,  hay  que  tener  en  cuenta  que  en  alguna 
etapa  de  una  evaluation  nos  vamos  a encontrar  con  varias  tablas  de  datos,  dado  que 
va  a haber  un  antes  y un  despues;  eso  cuando  menos>  pues  nos  podemos  encontrar 
con  una  serie  temporal.  Cada  tabla  o grupo  de  variables  puede  corresponder  a instan- 
tes  o contextos  diferentes  (Lebart,  Morineau,  Piron,  1995). 

Segun  los  analisis  factoriales  clasicos,  en  que  todas  las  tablas  se  analizarian  conjun- 
tamente  o de  forma  yuxtapuesta,  no  se  podrian  estudiar  globalmente  las  estructuras, 
tanto  comunes  como  especificas  de  estos  grupos  de  variables,  ni  construir  tipologias 
de  los  individuos  ni  de  las  variables.  Bajo  este  enfoque  multivariante  asociado  al  anali- 
sis factorial,  sugerimos  que  la  compleja  realidad  evolucionando  a traves  del  tiempo 
sera  mas  adecuadamente  analizada  por  medio  del  analisis  de  tablas  multiples.  Se  ana- 
liza  un  conjunto  de  individuos  caracterizado  por  varios  grupos  de  variables  (por  ejem- 
plo  el  pretest  y el  postest  tratados  multidimensionalmente;  bajo  el  analisis  factorial  de 
las  tablas  yuxtapuestas  puede  ocurrir  que  las  tipologias  de  los  individuos  esten  cons- 
truidas  solo  segun  unas  cuantas  variables  del  pretest  y,  sin  embargo,  nos  interesa  ana- 
lizar  como  evolucionan  los  individuos  a traves  del  tiempo,  caracterizandolos  por 
variables  de  ambos  grupos).  Al  no  tratar  las  tablas  de  forma  exclusivamente  conjunta, 
permite  representar  los  individuos  segun  cada  grupo  de  variables,  descubrir  que 
tablas  (o  grupos  de  variables)  se  asemejan,  proporcionar  una  tabla  que  sintetice  el  con- 
junto  y describir  la  dispersion  entre  tablas  con  relation  a la  sintetica  y determinar  el 
origen  de  tales  desviaciones.  Para  profundizar  en  estas  tecnicas  cabe  mencionar  la 
obra  de  Escofier  y Pages  (1990). 

Pero  ademas  de  estas  tecnicas,  hay  modelos  creados  especfficamente  para  estudiar 
la  evolution  de  un  fenomeno  a lo  largo  del  tiempo. 

Disenos  de  medidas  repetidas  y series  temporales 

Se  plantean  como  las  alternativas  mas  intuitivas,  dado  que  un  programa  se 
desarrolla  en  el  tiempo.  En  general  el  desarrollo  en  el  tiempo  se  basa  en  un  numero 
reducido  de  momentos. 

En  los  disenos  de  medidas  repetidas,  analizados  por  medio  del  analisis  de  la 
varianza  multivariante  (Ximenez  y San  Martin  2000),  debido  a que  a cada  sujeto  se  le 
aplican  todos  los  tratamientos,  no  se  precisa  del  control  ni  de  la  aleatorizacion  comple- 
ta  del  analisis  de  la  varianza,  pero  al  estar  inmersos  en  el  modelo  lineal  general,  estan 
sometidos  a las  tipicas  condiciones  de  aplicacion,  ademas  de  que  resultan  «penosos»  si 
se  quiere  considerar  el  contexto  y los  condicionamientos  practicos. 

Por  su  parte  una  serie  temporal  consiste  en  un  conjunto  de  observaciones  de  una 
variable  en  intervalos  regulares  de  tiempo  (Uriel  1992).  La  problematica  de  las  series 


El  andlisis  de  datos  en  la  evaluation  de  programas  educativos 


367 


temporales  empieza  porque  se  precisa  una  medicion  a intervalos  regulares  de  tiempo, 
que  como  poco  debe  ser  de  50;  asf,  en  los  modelos  ARIMA  se  precisa  de  numerosos 
instantes  de  observacion,  pues  en  caso  contrario  hay  dificultades  en  la  identificacion 
del  modelo.  Ademas,  las  variables  solo  pueden  ser  continuas.  Las  series  temporales 
requieren  procesos  estabilizados  y con  intervenciones  muy  limitadas.  En  nuestro 
entorno  no  esta  de  mas  recordar  que  la  education  no  solo  no  es  un  proceso  estabiliza- 
do,  sino  que  no  debe  serlo  (Saenz,  Gonzalez,  1990).  Pero,  al  margen  de  estas  considera- 
ciones  y limitaciones,  muestra  del  interes  que  ofrecen  son  los  trabajos  de  Arnau,  Ruiz  y 
Salvador  (1988)  que  examinan  la  evaluacion  del  tratamiento  en  disenos  conductuales 
mediante  estas  tecnicas;  o el  propio  Alvira  (1991)  que  dedica  un  apendice  a discutir  la 
aplicabilidad  de  estos  modelos.  Al  hablar  de  la  evaluacion  economica,  citamos  el  estu- 
dio  de  Plotnick  y Deppman  (1999).  En  el  mismo  llevan  a cabo  un  analisis  de  costo- 
beneficio  de  programas  de  prevention  del  maltrato  infantil  y proponen,  entre  otras, 
tecnicas  analiticas  basadas  en  series  temporales  para  la  extrapolation  de  los  posibles 
beneficios  de  un  programa. 

De  cualquier  forma,  a la  vista  de  la  problematica  de  estas  dos  tecnicas,  proponemos 
como  salidas  a este  callejon  dos  modelos  que  entre  sus  especificidades  tambien  dan 
cabida  a la  multidimensionalidad  y al  tratamiento  de  disenos  longitudinales. 

Modelos  de  ecuaciones  estructurales 

Segun  Batista  y Coenders  (2000),  ya  que  los  fenomenos  de  interes  son  complejos, 
tienen  muchos  aspectos,  obedecen  a multiples  causas  y estan  frecuentemente  medi- 
dos  con  error,  identificar  el  origen  de  su  variabilidad  requiere  servirse  de  metodos 
multivariantes  adecuados,  como  los  modelos  de  ecuaciones  estructurales,  que  per- 
miten  incorporar  el  error  de  medida  y considerar  relaciones  recfprocas  entre  cons- 
tructos. 

Al  contrario  del  analisis  de  la  varianza  con  medidas  repetidas,  en  que  solo  es  viable 
una  unica  relation  entre  variables  dependientes  e independientes,  los  modelos  de 
ecuaciones  estructurales  posibilitan  especificar  las  variables  independientes  que  pre- 
dicen  cada  una  de  las  variables  dependientes.  Operando  con  datos  no  experimentales 
y relaciones  lineales  se  puede  entender  que  surgen  como  alternativa  al  modelo  lineal 
general  permitiendo  ademas  una  vision  holista. 

Fundamentalmente  se  centra  en  la  especificacion  del  modelo  a voluntad  y su  modi- 
fication para  mejorar  el  ajuste  a los  datos  (esto  quiere  decir  confirmatorio:  especificar 
el  modelo  antes  de  su  estimation);  y ello  basado  en  la  descomposicion  de  varianzas  y 
de  covarianzas.  Otro  aspecto  basico  es  el  tratamiento  del  efecto  de  los  errores  de  medi- 
da de  las  relaciones  entre  las  variables,  para  lo  cual  hay  que  basarse  en  medidas  repeti- 
das. Es  decir,  se  pueden  contrastar  relaciones  causales  entre  variables,  asf  como 
evaluar  la  calidad  de  la  medida,  en  lo  que  se  entiende  como  modelo  de  analisis  facto- 
rial confirmatorio,  como  paso  previo  a las  especificaciones  del  modelo. 

Una  aplicacion  de  este  tipo  de  modelos  (en  concreto  del  de  crecimiento  latente)  nos 
lo  ofrecen  Wang  y otros  (1999)  evaluando  programas  de  intervention  de  reduction  de 
conductas  de  riesgo  con  respecto  al  SIDA. 
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Los  modelos  jerarquicos  lineales 

De  la  Orden  (1999),  al  introducir  los  trabajos  sobre  esta  cuestion  presentados  al  ulti- 
mo congreso  de  AIDIPE,  afirma  que  «No  resulta  excesivamente  arriesgado  afirmar 
que  el  principal  avance  metodologico  de  los  ultimos  anos  en  investigacion  en  Ciencias 
Sociales  son  los  Modelos  Jerarquicos  Lineales»  (1999:  p.  425). 

Ciertamente,  constituye  una  enorme  ventaja  el  poder  disponer  de  un  conjunto  de 
tecnicas  que  permiten  analizar  los  datos  tomando  en  consideracion  la  estructura  mul- 
tinivel  o anidada  de  los  mismos,  habida  cuenta  que  en  el  ambito  educativo  esta  suele 
ser  su  conformacion  habitual,  casi  diriamos  natural. 

Este  tipo  de  modelos  resulta  de  aplicacion  mas  general,  aunque  en  su  aspecto  mas 
sencillo  no  cabe  la  multidimensionalidad.  Se  trata  de  explicar  y/o  predecir  una  varia- 
ble dependiente  o respuesta,  que  en  el  caso  mas  sencillo  es  normal.  Los  individuos 
estan  agrupados  segun  uno  o mas  criterios  o niveles  entre  los  que  se  establece,  habi- 
tualmente  de  forma  natural,  una  jerarqufa.  Dado  que  los  sujetos  dentro  de  jerarqufas 
tienden  a ser  mas  homogeneos  que  los  obtenidos  aleatoriamente  de  la  poblacion,  con- 
viene  que  cada  nivel  tenga  asociado  su  propio  modelo,  que  representa  las  relaciones 
estructurales  asf  como  la  variabilidad  residual  dentro  del  nivel  (Bryk,  Raudenbush, 
1992).  Dicho  de  otra  manera,  la  notion  central  es  que  modelos  lineales  diferentes  para 
el  primer  nivel  o micro-nivel  deben  ajustarse  para  cada  contexto  (macro-nivel)  (De  la 
Orden,  1999).  Los  coeficientes  de  regresion  del  primer  nivel  se  analizan  como  variables 
aleatorias  en  el  segundo  nivel,  descomponiendose  la  varianza  en  la  de  ambos  niveles. 
Se  obtienen  estimaciones  estadfsticamente  eficientes,  y desde  el  punto  de  vista  practi- 
co,  se  pueden  ordenar  los  elementos  del  segundo  nivel  y superiores  en  funcion  de  la 
variable  respuesta.  Para  profundizar  sobre  estos  modelos  remitimos  a Goldstein 
(1995). 

Con  los  modelos  jerarquicos  lineales  se  resuelve  el  problema  de  la  unidad  de  anali- 
sis,  puesto  que  se  incluyen  distintos  niveles  jerarquizados.  Las  variables  asociadas  a 
los  distintos  niveles  jerarquizados  afectan  a los  resultados  individuales.  Si  la  unidad 
de  analisis  es  el  individuo,  se  asignan  las  caracterfsticas  del  nivel  correspondiente  a 
cada  sujeto  de  el,  dando  origen  a la  no  independencia  y a eludir  los  efectos  de  grupo. 
Al  contrario,  si  se  considera  que  la  unidad  de  analisis  es  un  determinado  nivel,  se 
incluyen  en  el  las  caracterfsticas  medias  de  los  niveles  inferiores,  perdiendose  asf  la 
variabilidad  entre  esos  niveles  inferiores.  Ademas,  los  resultados  del  modelo  lineal 
general  dentro  de  cada  elemento  del  segundo  nivel,  por  ejemplo,  no  son  generaliza- 
bles  mas  que  si  tales  elementos  constituyen  toda  la  poblacion. 

Entre  los  distintos  aspectos  ventajosos  que  el  modelo  jerarquico  lineal  presenta 
cabe  mencionar  que  precisa  de  menos  condiciones  de  aplicacion  en  comparacion  con 
los  modelos  clasicos.  Ademas  proporciona  modelos  mas  intuitivos,  pues  refleja  el 
proceso  de  muestreo,  que  a menudo  es  por  conglomerados.  Es  una  alternativa  a la 
tecnica  clasica  del  analisis  de  la  varianza  con  medidas  repetidas,  que  precisa  de  las 
mismas  mediciones  para  cada  sujeto  y un  cierto  balance  en  la  estructura;  los  sujetos 
se  incluyen  en  el  segundo  nivel  y las  distintas  mediciones  en  el  primero,  esto  es,  se  da 
un  anidamiento  dentro  de  los  sujetos;  los  resultados  obtenidos  con  el  modelo  jerar- 
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quico  lineal  son  mas  sencillos  de  interpretar  y de  comunicar.  Se  pueden  tratar  datos 
de  respuesta  discreta  y variables  de  respuesta  cuantitativas  y cualitativas  simultanea- 
mente. 

Si  de  cada  individuo  se  miden  diversas  variables  de  respuesta  (modelos  multiva- 
riantes),  se  situa  al  individuo  en  le  segundo  nivel  y las  variables  de  respuesta  en  el 
primero;  se  da  un  correcto  tratamiento  a los  datos  ausentes,  que  en  muchas  ocasiones 
se  deben  al  propio  diseno,  pues  hay  individuos  en  que  solo  se  puede  medir  un  sub- 
grupo  de  variables  respuesta;  los  resultados  son  facilmente  interpretables,  en  compa- 
nion con  los  de  los  analisis  multivariantes  basados  en  el  modelo  lineal  general 
multivariante. 

Con  todo  lo  dicho,  no  es  de  extranar  que  aqui  si  sea  facil  encontrar  abundantes 
referencias.  Los  interesados  encontraran  especialmente  util  la  pagina  Web  que  sobre  el 
proyecto  multinivel  tiene  el  Instituto  de  Education  de  Londres.  Su  direction  es 
http://www.ioe.ac.uk/multilevel/  y en  la  misma  encontraran  abundante  informacion 
bibliografica,  informacion  sobre  programas,  ficheros  de  datos,  ejemplos,  etc. 

Pero  junto  a esto,  tanto  aplicaciones  de  estos  modelos  como  estudios  de  indole  mas 
metodologica  podemos  encontrar  en  los  siguientes  articulos: 

El  ya  citado  trabajo  de  Kreft  (1998)  que  efectua  un  re-analisis  de  investigaciones 
evaluativas  sobre  prevention  del  consumo  de  drogas  usando,  ademas  del  ya  citado 
analisis  de  correspondencias,  los  modelos  multinivel.  Krull  y MacKinnon  (1999) 
realizan  un  estudio  de  simulation  centrado  en  las  variables  mediadoras.  Gaviria 
(1999)  analiza  las  posibilidades  del  enfoque  multinivel  en  la  evaluacion  de  sistemas 
educativos  y Murillo  (1999)  hace  lo  propio  en  el  ambito  de  los  estudios  sobre  efica- 
cia  escolar. 

Ademas,  cada  vez  es  mas  frecuente  encontrar  aplicaciones  de  estos  modelos  al 
meta-analisis:  McNeal  y Hansen  (1995)  realizan  un  estudio  meta-analftico  de  las  dife- 
rentes  evaluaciones  de  los  programas  DARE  usando  tecnicas  multinivel.  Desde  un 
punto  de  vista  mas  metodologico,  en  Castro  y De  la  Orden  (1998)  y en  Castro  (1999)  se 
analizan  y comparan  los  diferentes  modelos  de  meta-analisis  y se  estudian  las  aporta- 
ciones  que  a los  mismos  pueden  prestar  los  modelos  jerarquicos  lineales. 

Es  habitual  encontrar  evaluaciones  que  consisten  en  distintas  replicas  de  un  pro- 
grama,  ya  que  han  sido  implementados  en  diversos  lugares  y/o  a distintos  grupos,  asf 
como  en  distintos  perfodos  de  tiempo.  Por  otra  parte,  tambien  es  habitual  aplicar  un 
programa  a grupos  reducidos,  lo  que  origina  la  practica  imposibilidad  de  rechazar  la 
hipotesis  nula.  Todo  esto  es  suficiente  para  darle  al  meta-analisis  un  lugar  especffico 
en  el  analisis  de  datos  en  evaluacion. 

El  meta-analisis 

El  meta-analisis  (Hedges  y Olkin,  1985)  es  un  conjunto  de  tecnicas  estadfsticas  de 
integration  de  los  resultados  de  distintas  investigaciones  sobre  un  mismo  problema. 
Se  trata  de  buscar  la  consistencia  de  los  mismos,  de  examinar  las  posibles  contradiccio- 
nes,  de  buscar  patrones  comunes,  o,  sin  mas,  de  resumir  sus  resultados  cuantitativos. 
Para  ello  se  parte  de  utilizar  una  metrica  comun  entre  ellos.  Mas  tecnicamente  es  el 
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analisis  de  un  conjunto  de  estimaciones  independientes  con  distribucion  normal  y 
varianza  conocida. 

El  proceso  es  analogo  al  de  una  investigacion  primaria.  Se  definen  los  objetivos  y se 
clarifican  los  criterios  de  seleccion  de  estudios  y datos.  Tras  codificar  la  estructura  de 
las  investigaciones  en  funcion  de  los  objetivos  de  la  revision  y para  evitar  la  ausencia 
de  validez,  se  unifica,  como  se  ha  mencionado,  bajo  una  metrica  comun,  habitualmen- 
te  el  tamano  del  efecto. 

De  entre  los  distintos  enfoques,  no  excluyentes,  destacamos  que  en  el  basado  en 
el  Escrutinio  el  problema  es  que  se  confunden  el  efecto  de  la  intervencion  y el  del 
tamano  de  la  muestra,  ademas  de  que  no  es  considerado  el  impacto  del  programa 
evaluado.  En  el  Cldsico  o de  Glass  (Glass,  McGaw  y Smith,  1981)  se  caracteriza  cada 
resultado  (como  unidad  de  analisis)  de  cada  estudio  por  el  tamano  del  efecto.  La  cri- 
tica  se  basa  en  que  se  da  mas  peso  a los  estudios  con  mas  resultados,  los  datos  no  son 
independientes,  pues  cada  estudio  puede  traducirse  en  distintas  unidades  de  anali- 
sis y la  fiabilidad  de  los  resultados  esta  condicionada  por  la  inclusion  de  estudios 
metodologicamente  defectuosos.  En  lo  que  se  refiere  a la  conocida  como  efecto  del 
estudio,  que  incluye  criterios  de  seleccion  de  estudios,  estos  quedan  caracterizados 
por  el  tamano  del  efecto;  como  aspectos  negativos  cabe  mencionar  los  sesgos  en  la 
inclusion  de  estudios  y el  reducido  numero  de  unidades  de  analisis.  Otro  enfoque  es 
el  de  las  Pruebas  de  homogeneidad,  desarrolladas  para  determinar  si  la  varianza  entre 
tamanos  del  efecto  es  aleatoria.  El  meta-andlisis  Psicometrico  (Hunter  y Schmidt, 
1990),  segun  el  cual  se  recogen  todos  los  estudios  independientemente  de  su  calidad 
y se  corrige  la  distribucion  de  los  tamanos  del  efecto  segun  una  serie  de  factores  que 
influyen  sobre  ella,  presenta  la  limitacion  de  que  de  cada  estudio  se  precisa  la  sufi- 
ciente  informacion,  no  siempre  disponible,  para  proceder  a la  correccion  menciona- 
da.  Por  ultimo  en  el  Modelo  jerarquico  lineal,  como  enfoque  mas  novedoso,  se 
considera  que  la  organizacion  de  los  datos  meta-analfticos  responde  a una  estructura 
jerarquica  o anidada.  (Castro,  1999)  (el  anidamiento  se  produce  dentro  de  los  estu- 
dios). 

Por  ultimo,  mencionemos  las  dificultades  genericas  en  el  meta-analisis.  Asf,  cabe 
indicar  la  relativa  a la  seleccion  de  estudios,  en  que  el  debate  se  establece  en  cuanto  a si 
solo  incluir  solamente  los  publicados  o en  funcion  de  su  calidad;  por  otra  parte  surge 
el  problema  de  los  estudios  con  resultados  ausentes  en  que  las  alternativas  son  elimi- 
narlos  totalmente  contra  proceder  a imputacion.  Tambien  la  presencia  de  multiples 
tamanos  del  efecto  en  un  mismo  estudio,  lo  que  da  lugar  a la  no  independencia,  es 
resuelto  de  diversas  formas,  contradictorias  entre  ellas.  En  lo  que  se  refiere  a la  magni- 
tud  del  efecto,  la  discusion  es  la  de  siempre:  a partir  de  que  valor  un  numero  es  peque- 
noy  a partir  de  cual  grande;  se  barajan  distintas  alternativas  que  se  pueden  encontrar 
en  Cooper  (1981),  Gohen  (1988)  y Lipsey  (1990). 

Tal  y como  apuntabamos  al  inicio  de  este  apartado,  somos  conscientes  de  que 
hemos  dejado  al  margen  otros  modelos  y tecnicas  de  interes,  como  el  escalamiento 
multidimensional,  el  logaritmico  lineal,  el  analisis  conjunto,  etc.;  pero  creemos  que  con 
los  que  hemos  presentado,  bien  exponiendolos,  bien  senalando  sus  limitaciones,  el 
objetivo  inicialmente  marcado  queda,  a nuestro  juicio,  suficientemente  cumplido. 
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DIFUSION  Y COMUNICACION  DE  LOS  RESULTADOS  DE  LA  EVALUACION 
DE  PROGRAMAS 

Si  repasamos  algunas  de  las  notas  distintivas  con  que  hemos  caracterizado  a la  eva- 
luacion de  programas  educativos,  e incluso  si  examinamos  algunas  de  las  tecnicas 
analiticas  que  hemos  presentado  (como  lo  tocante  al  meta-analisis),  podemos  darnos 
cuenta  que  las  cuestiones  relativas  a la  difusion  y comunicacion  de  los  datos  y resulta- 
dos  de  una  investigacion  evaluativa  constituyen  un  aspecto  crucial  del  proceso. 

Aqui  hemos  introducido  dos  terminos  a los  que,  a pesar  de  su  evidente  vecindad 
semantica,  asignamos  significados  muy  distintos.  Se  trata  de  los  de  difusion  y comuni- 
cacion. La  diferenciacion  basica  que  establecemos  es  la  siguiente: 

Por  difusion  entendemos  la  presentacion  del  proceso,  los  datos  y resultados  de  la 
evaluacion  al  resto  de  colegas,  de  miembros  de  la  comunidad  cientffica.  Esta  disemina- 
cion  (traduccion  literal  del  termino  ingles)  es  llevada  a cabo  fundamentalmente  a tra- 
ves  de  las  revistas  cientificas  especializadas. 

Por  comunicacion  entendemos  la  presentacion  de  los  resultados  de  la  evaluacion,  y 
de  cualquier  otra  informacion  que  se  considere  relevante,  a los  clientes,  interesados, 
implicados,  etc.  Esta  presentacion  suele  efectuarse  de  forma  oral  en  una  o varias  sesio- 
nes  e igualmente  suele  elaborarse  un  informe  escrito. 

Queda  pues  claro  que  la  distincion  basica  que  establecemos  entre  estos  dos  termi- 
nos se  basa  en  los  destinatarios  o audiencias  de  la  informacion.  La  asignacion  de 
dichos  terminos  es  poco  menos  que  arbitraria  aunque  difusion  o diseminacion  se  suelen 
asociar  a la  literatura  cientffica,  de  ahf  su  eleccion  por  nuestra  parte.  En  cualquier  caso, 
el  significante  elegido  es  lo  de  menos.  Lo  importante  son  las  consecuencias  que  se 
derivan  de  tener  que  dirigirse  a dos  audiencias  tan  distintas  como  las  que  acabamos 
de  apuntar.  Y en  ellas  vamos  a centrarnos  ahora. 

Difusion  de  los  resultados 

Tal  y como  en  distintas  ocasiones  hemos  afirmado,  la  evaluacion  de  programas 
puede  ser  considerada  como  un  caso  o tipo  especffico  de  investigacion  aplicada.  Como 
tal,  sus  resultados  han  de  ser  difundidos  entre  los  miembros  de  la  comunidad  cientf- 
fica. 

Y esta  labor  de  difusion  e intercambio  se  realiza  mediante  los  canales  habituales:  de 
una  parte  las  reuniones  cientificas,  seminarios,  congresos,  etc.,  y de  otra,  las  publica- 
ciones  en  revistas  especializadas.  El  contenido  y formato  de  las  mismas  esta  suficiente- 
mente  tratado  en  los  manuales  de  investigacion  e incluso  los  editores  o las  sociedades 
cientificas  y profesionales  establecen  y publican  normas  al  respecto. 

Poco  mas  tendrfamos  que  decir  al  respecto  si  no  fuese  por  una  cuestion:  como  ya 
hemos  tenido  ocasion  de  comentar,  en  evaluacion  de  programas  la  acumulacion  y con- 
trastacion  de  evidencia,  o en  general  las  labores  de  re-analisis,  meta-analisis  o metae- 
valuacion,  tienen  una  importancia  especial.  Y como  ya  hemos  apuntado  tambien,  para 
llevar  a cabo  este  tipo  de  analisis  de  segundo  orden  a veces  no  basta  con  la  informa- 
cion que  suele  aparecer  publicada. 


366 


372 


Luis  Lizasoain  Hernandez  y Luis  Joaristi  Olariaga 


Dicho  en  otros  terminos,  en  evaluation  de  programas  — como  en  otros  muchos 
ambitos  de  la  investigation  en  ciencias  sociales  y humanas — hay  ocasiones  en  que, 
ademas  de  la  information  contenida  en  los  informes  de  investigation  en  sus  diferentes 
formatos,  es  preciso  o deseable  disponer  de  acceso  a los  datos. 

De  la  Orden  y Martinez  de  Toda  (1992)  insisten  en  esta  cuestion  al  hablar  del  anali- 
sis  secundario  como  forma  mas  completa  de  metaevaluation  y anaden  que  la  disponi- 
bilidad  de  los  datos  para  el  re-analisis  es  un  indicador  de  credibilidad  del  evaluador 
(P-  519). 

Pues  bien,  esta  disponibilidad  de  los  datos  plantea  cuestiones  como  las  siguientes: 
el  soporte  o canal  mediante  el  cual  los  datos  son  accesibles,  el  formato  y estructura  de 
los  mismos,  y,  por  ultimo,  las  garantias  de  confidencialidad  y la  etica  de  la  investiga- 
tion. 

Con  respecto  al  soporte  parece  claro  que  actualmente  las  redes  informaticas  consti- 
tuyen  el  medio  mas  idoneo  para  garantizar  la  accesibilidad  de  los  datos  a otros  inves- 
tigadores.  De  hecho  cada  vez  es  mas  frecuente  encontramos  en  Internet  con  ficheros  y 
conjuntos  de  datos  disponibles  para  la  comunidad  cientifica.  No  vamos  a detenemos 
en  cuestiones  tecnicas,  pero  no  esta  de  mas  subrayar  que,  ya  que  se  trata  de  facilitar  las 
cosas  a los  colegas,  el  formato  de  los  ficheros  debe  ser  aquel  o aquellos  que  resulten 
mas  facilmente  importables  por  los  programas  y aplicaciones  mas  usados.  De  esta 
forma  se  simplifica  la  tarea  de  lectura  e incorporation  de  la  information. 

Pero  evidentemente,  no  basta  con  incluir  un  fichero  de  datos  en  una  pagina  Web. 
Para  que  sean  utiles,  tales  datos  han  de  estar  adecuadamente  documentados.  Y con 
esto  entendemos  que  ha  de  explicitarse  que  variables  son;  en  que  momento  o momen- 
tos,  como  y con  que  instrumentos  la  information  ha  sido  recogida;  que  transformacio- 
nes  han  sufrido  los  datos  originales;  como  han  sido  seleccionados  los  casos;  que 
posibles  niveles  de  agregacion  existen;  etc.  Toda  esta  information  (que  algunos  deno- 
minan  metadatos ) debe  anadirse  a lo  relativo  a los  resultados  que  ya  hayan  sido  genera- 
dos:  cuales  se  han  obtenido  y mediante  el  empleo  de  que  tecnicas. 

Por  ultimo,  en  lo  que  se  refiere  a las  cuestiones  de  etica  de  la  investigation,  senale- 
mos  que,  ademas  del  respeto  a los  acuerdos  establecidos  con  los  clientes  o implicados, 
otro  asunto  muy  importante  es  el  que  atane  a las  garantias  de  confidencialidad,  pues 
todo  lo  hasta  aqui  apuntado  facilita  los  analisis  secundarios,  pero  plantea  graves  pro- 
blemas  en  lo  que  a esta  cuestion  se  refiere. 

No  se  trata  de  un  conflicto  insoluble,  pero  hay  que  prestar  especial  atencion  a los 
mecanismos  y procedimientos  tendentes  a garantizar  la  confidencialidad  bajo  estos 
nuevos  supuestos. 

En  primer  lugar,  la  libre  disponibilidad  no  esta  renida  con  el  establecimiento  de  fil- 
tros  y niveles  de  acceso  a la  information  que  nos  sirvan  de  razonable  garantia  de  que 
nuestros  datos  van  a ser  usados  con  fines  de  investigation.  Junto  a este  tipo  de  meca- 
nismos propios  de  la  seguridad  informatica,  la  propia  disposition  de  los  datos  y fiche- 
ros puede  tambien  servir  para  garantizar  la  confidencialidad. 

Aquf  hay  que  prestar  especial  atencion  a aquellas  variables  que  operan,  o son  sus- 
ceptibles  de  operar,  como  identificadores.  El  problema  no  esta  tanto  en  los  identifica- 
dores  directos  — pues  lo  normal  es  quitarlos — como  en  aquellas  variables  que  tratadas 
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de  forma  conjunta  pueden  ser  empleadas  para  identificar  los  casos.  Segun  con  que 
muestras  se  opere  y a que  niveles  de  agregacion,  con  un  cierto  conocimiento  de  la 
poblacion,  esta  posibilidad  es  bastante  viable.  Sieber  (1998)  describe,  entre  otros  proce- 
dimientos,  los  que  permiten  introducir  un  error  aleatorio  en  los  datos  de  forma  que  no 
se  interfere  con  posibles  analisis  posteriores  pero  se  dificulta  o evita  la  identification 
de  casos  o unidades. 

Comunicacion  o presentation  de  resultados 

Comenzabamos  el  apartado  anterior  enfatizando  el  caracter  investigador  de  la  eva- 
luacion de  programas  con  objeto  de  justificar  la  difusion  de  los  datos  entre  la  comuni- 
dad  cientffica.  Ahora  aqui  procede  poner  el  acento  en  lo  que  de  aplicada  tiene. 

Y,  como  ya  vimos,  de  ahf  se  deriva  el  hecho  de  que  su  objetivo  primordial  no  sea 
tanto  la  busqueda  de  la  verdad  o la  production  de  conocimiento,  como  el  uso,  el 
empleo  de  dicho  conocimiento  para  la  action,  para  la  mejora.  A tal  fin,  los  resultados 
han  de  ser  presentados  y comunicados  a los  clientes,  implicados  o interesados.  En 
definitiva,  a quienes  tienen  competencia,  responsabilidad  o capacidad  decisoria  de 
cara  a la  puesta  en  marcha  de  los  procesos  de  intervention  o de  las  acciones  de  mejora. 

Si  queremos  que  la  evaluacion  produzca  efectos,  que  sea  realmente  usada,  es  nece- 
sario  que  este  proceso  comunicativo  sea  eficaz.  Y para  ello  es  crucial  tomar  en  conside- 
ration el  hecho  de  que  este  tipo  de  audiencias  es  distinto  de  la  comunidad  cientffica  a 
quien  antes  hemos  hecho  referencia. 

Tal  y como  venimos  haciendo  a lo  largo  de  este  trabajo,  no  vamos  aquf  a extender- 
nos  sobre  la  comunicacion  del  informe  en  general,  sino  que  nos  vamos  a centrar  en 
una  parte  del  mismo:  en  la  comunicacion  y presentation  de  los  resultados  del  analisis.  Y 
aquf  la  cuestion  basica  es  conseguir  que  los  mismos  sean  inteligibles  para  los  destinata- 
rios  de  la  information. 

Actualmente,  el  desarrollo  metodologico  pone  a disposition  del  evaluador  comple- 
jas  tecnicas  analfticas  para  procesar  los  datos.  Esta  complejidad  y versatilidad  pueden 
permitir  un  mejor  tratamiento  de  los  datos,  pero  a su  vez  llevan  aparejada  una  mayor 
dificultad  de  uso,  y lo  que  mas  nos  importa  aquf,  de  comunicacion  de  los  resultados  a 
audiencias  no  expertas. 

Tal  y como  apunta  Brinkerhoff  (1983),  no  se  trata,  por  descontado,  de  no  emplear 
tecnicas  complejas  con  la  excusa  de  que  son  diffciles  de  entender.  Este  autor  advierte 
contra  las  sofisticaciones  innecesarias,  pero  su  primera  recomendacion  es  no  hacer  ana- 
lisis simplistas  habida  cuenta  de  la  complejidad  de  la  realidad  a evaluar. 

En  definitiva,  el  reto  que  tiene  el  evaluador  no  es  nada  facil:  hacer  comprensibles  a 
los  destinatarios  los  resultados  de  los  analisis  que  haya  sido  necesario  emplear  por 
complejos  que  sean,  sin  que  esto  suponga  distorsion  o perdida  significativa  de  infor- 
macion. Y este  es  un  tipo  de  comunicacion  que  exige  un  esfuerzo  y planteamiento  muy 
distinto  al  de  la  difusion  entre  colegas  en  que  se  da  por  supuesto  el  conocimiento  pre- 
vio  de  la  audiencia. 

En  cualquier  investigation,  despues  de  obtener  los  resultados  estos  han  de  ser 
interpretados  tomando  en  consideration  las  caracterfsticas  de  las  tecnicas  analfticas  usa- 
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das  yr  sobre  todo,  confrontandolos  con  la  realidad  y el  contexto  en  que  se  insertan.  De 
esta  interpretacion,  de  esta  busqueda  de  significado,  surgiran  las  respuestas  a las  hipo- 
tesis  y cuestiones  planteadas. 

Pero  en  evaluacion  de  programas,  despues  de  esta  primera  vuelta  de  analisis  e 
interpretacion,  es  necesario  re-analizar  dichos  resultados  para  hacerlos  comprensibles 
en  la  presentacion.  Y notese  que  hemos  empleado  el  termino  re-analizar  con  lo  que 
queremos  significar  que  este  trabajo  es  parte  tambien  de  la  fase  del  analisis  de  los 
datos. 

El  enfasis  que  Patton  (1997)  pone  en  el  uso  de  la  evaluacion,  hace  que  las  ideas  que 
aporta  en  lo  tocante  a estas  cuestiones  nos  resulten  especialmente  adecuadas  y suge- 
rentes.  Como  ilustracion  de  lo  dicho,  en  el  capitulo  dedicado  al  analisis  y comunica- 
cion de  resultados  afirma  que  los  resultados  de  un  analisis  de  regresion  pueden  ser 
reducidos  a tablas  de  contingencia  y a un  conjunto  de  estadisticos  descriptivos  de 
forma  que  en  la  presentacion  se  focalice  la  atencion  en  los  resultados  importantes. 

Este  alegato  a favor  de  la  simplicidad  en  la  presentacion  (nada  facil  de  conseguir 
por  otra  parte)  es  completado  con  un  ejemplo  de  la  informacion  presentada  a los  clien- 
tes  respecto  a una  evaluacion  en  la  que,  entre  otras,  se  emplearon  tecnicas  factoriales  y 
de  regresion  para  analizar  los  datos  (pp.  317-321).  Como  conclusion  afirma  que  los 
implicados  no  expertos  pueden  comprender  e interpretar  datos  y resultados  cuando 
son  presentados  en  forma  clara  y legible  usando  graficos  y tablas  estadisticas  simplifi- 
cadas. 

Esto  supone  que  la  fase  del  analisis  no  acaba  con  la  obtencion  e interpretacion  de  los 
primeros  resultados,  de  los  resultados  brutos  que  nos  proporcionan  los  programas 
informaticos.  Es  competencia  y trabajo  (arduo)  del  investigador  re-elaborar  y re-anali- 
zar dichos  resultados  de  forma  que  puedan  garantizar  una  comunicacion  eficaz. 

Y,  ademas  de  Patton,  son  muchos  los  autores  (con  Tukey  como  ilustre  precursor) 
que  apuntan  que  la  mejor  manera  de  comunicar  eficazmente  es  usando  tablas  y,  sobre 
todo,  graficos.  Pero  para  que  la  transmision  visual  de  informacion  sea  eficaz,  no  basta 
con  apelar  a la  inteligencia  espacial  del  observador  confiando  en  que,  por  si  misma, 
sera  capaz  de  deducir  de  un  grafico  los  datos  subyacentes  y las  relaciones  que  entre 
ellos  se  establecen.  Si  estan  mal  disenados  pueden  conseguir  el  efecto  contrario:  ocul- 
tar  los  datos  (esto  a veces  se  hace  intencionadamente)  o dispersar  la  atencion  del 
observador. 

La  capacidad  de  producir  facilmente  graficos  cada  vez  mas  ^omplejos  se  ha  visto 
notablemente  incrementada  por  las  posibilidades  que  brindan  la  mayoria  de  los  pro- 
gramas informaticos.  Ademas  de  los  programas  orientados  exclusivamente  a este  fin, 
la  gran  mayoria  de  los  paquetes  de  analisis  de  datos  incorporan  potentes  modulos  gra- 
ficos con  lo  que  la  labor  del  investigador  se  ve  notablemente  facilitada. 

De  esta  manera,  es  posible  generar  graficos  que  cubren  un  amplio  espectro  de  enfo- 
ques  analiticos:  desde  la  clasica  description  univariada  o bivariada,  hasta  las  tenden- 
cias,  las  series  temporales  o las  nubes  multivariables. 

Pero  al  igual  que  el  uso  de  un  paquete  estadistico  no  exime  del  conocimiento  de  la 
estadistica,  aqui  tambien  es  preciso  conocer  las  normas  y criterios  basicos  que  garanti- 
zan  una  comunicacion  visual  eficaz.  En  nuestro  campo,  autores  como  Henry  (1993, 
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1998)  han  estudiado  el  asunto  y examinado  los  distintos  tipos  de  graficos  y las  condi- 
ciones  que  deben  reunir. 

Con  respecto  al  contenido  mismo  de  los  graficos  la  primera  recomendacion  habi- 
tual estriba  en  que,  ademas  del  grafico  en  si,  en  el  mismo  deben  aparecer  datos.  El 
objetivo  es  claro:  el  grafico  actua  como  soporte  y la  informacion  textual  o numerica 
permite  leer  e interpretar  correctamente  la  informacion  iconografica.  En  conclusion,  los 
graficos  deben  ser  ricos  en  informacion  mostrando  la  complejidad  subyacente  a los 
datos.  Pero  a la  vez,  conviene  no  recargar  excesivamente  cada  grafico  pues  dificulta  su 
lectura.  En  vez  de  intentar  mostrar  toda  la  informacion  en  un  solo  grafico,  es  mejor 
emplear  varios:  por  ejemplo,  una  serie  para  las  descripciones  univariadas  y otra  para 
mostrar  las  relaciones  que  pudieran  existir  entre  variables.  En  el  delicado  y dificil 
equilibrio  entre  estos  dos  polos  radica  una  de  las  claves  de  una  comunicacion  visual 
eficaz. 

Pero  ademas  de  las  cuestiones  de  contenido,  al  hablar  de  informacion  grafica  no 
podemos  obviar  lo  tocante  a las  propias  formas,  a las  cuestiones  de  formato.  En  pala- 
bras  del  propio  Henry  (1998:  p.  537),  aqui  hay  cuestiones  tan  importantes  que  no  con- 
viene dejarlas  tal  y como  aparecen  en  las  opciones  por  defecto  pre-establecidas  por  los 
programas.  Entre  ellas  cita  lo  relativo  a la  orientation,  los  ejes,  las  tramas  y el  relleno  o 
las  proporciones.  Con  el  desarrollo  actualmente  alcanzado  por  monitores  e impreso- 
ras,  nosotros  nos  atrevemos  a anadir  el  tratamiento  del  color.  El  conocimiento  de  las 
normas  basicas  derivadas  de  la  teoria  del  color,  la  complementariedad  y la  saturation, 
creemos  que  contribuirian  al  menos  a evitar  graficos  que  — por  la  gama  de  colores  usa- 
dos — no  solo  son  de  gusto  estetico  mas  que  discutible  sino  que  — lo  que  es  mas 
grave — dificultan  cuando  no  impiden  la  aprehension  de  los  datos. 

El  resto  de  las  posibilidades  que  brinda  la  informatica  grafica  (animation,  efectos 
tridimensionales,  etc.)  estan  contribuyendo  al  auge  y desarrollo  del  campo  de  la  visua- 
lization de  los  datos.  Por  razones  obvias  no  podemos  extendernos  mas  en  estas  cuestio- 
nes. Ademas  del  ya  citado  Tukey,  la  obra  de  Bertin  (1973),  Semiologie  graphique  es  todo 
un  clasico  en  la  materia.  Junto  a ellas,  nos  permitimos  recomendar  a los  interesados  las 
obras  de  Wallgren  y otros  (1996)  y de  Jacoby  (1998). 

Muy  util  y completa  es  la  pagina  Web  sobre  visualization  de  datos  del  Statistical 
Consulting  Service  de  la  universidad  canadiense  de  York.  Su  direction  es  la  siguiente: 
http://www.math.yorku.ca/ SCS/Gallery/ . En  la  misma  aparecen  ejemplos  de  buen  y mal 
uso  de  los  graficos,  ademas  de  muchos  enlaces  con  paginas  dedicadas  a los  graficos  y 
a la  visualization  de  datos. 
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Es  evidente  que  en  el  mundo  actual  y,  especialmente,  en  las  sociedades  mas  des- 
arrolladas,  la  evaluacion  ocupa  un  lugar  tan  amplio  y destacado  que  podrfamos  defi- 
nir  esta  etapa  historica  como  «la  era  de  la  evaluacion».  Para  explicar  esta  situacion 
satisfactoriamente,  habriamos  de  recurrir,  sin  duda,  a diferentes  vias  y considerar  muy 
diversos  factores.  Sin  embargo,  una  constatacion  de  las  condiciones  generates  en  que 
este  hecho  se  produce  nos  permitira  un  primer  acercamiento  a su  explicacion.  En  efec- 
to,  la  evaluacion  es  un  fenomeno  que  se  desarrolla  y adquiere  relevancia  en  momentos 
historicos  caracterizados  por  el  cambio  social.  En  realidad,  se  trata  de  un  mecanismo 
permanente  de  ajuste  de  las  decisiones  en  las  actividades  sociales  organizadas,  cuya 
funcion  es  optimizar  las  alternativas.  Si  no  hubiera  cambio,  no  habrfa  alternativas  y,  en 
consecuencia,  la  evaluacion  perderfa  su  significado. 

La  evaluacion  como  caracterfstica  inherente  a toda  actividad  humana  intencional, 
se  manifiesta  tanto  en  la  vida  cotidiana,  escasamente  planificada,  cuanto  en  la  accion 
sistematica  de  las  empresas  individuales  o colectivas  del  hombre.  En  el  devenir  de  la 
rutina  diaria,  el  hombre  evalua,  valora  constantemente  personas,  objetos,  situaciones  y 
acontecimientos,  juzgandolos,  previa  contrastacion  con  instancias  o modelos,  mas  o 
menos  exph'citamente  representados. 

En  la  accion  individual  o colectiva  sistematizada  (la  polftica,  la  administracion,  la 
actividad  economica,  la  medicina,  etc.)  la  evaluacion  aparece  como  un  componente 
esencial.  La  valoracion  de  las  consecuencias,  el  control  de  la  calidad,  el  diagnostico  de 
la  salud,  que  se  utilizan  como  indicadores  del  proceso  o de  la  adecuacion  de  los  resul- 
tados,  son  diferentes  manifestaciones  del  fenomeno  evaluativo. 


* Este  arti'culo  esta  apoyado  en  otros  trabajos  del  autor  (De  la  Orden,  1982  y 1997). 
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Esta  multiplicidad  de  situaciones  evaluativas  justifica  la  vision  de  este  campo  de 
actividad  como  un  conjunto  disciplinar  relativamente  disperso,  cultivado  como  ocu- 
pacion  parcial  por  profesionales  de  distintas  disciplinas  para  satisfacer  necesidades,  a 
su  vez,  dispersas,  pero  que,  como  afirma  Morell  (1990),  comportan  un  nucleo  de  prin- 
cipios,  doctrinas  o creencias  precisas,  pero  mal  definidas.  En  la  evaluacion  podemos 
rastrear  elementos  procedentes  de  las  disciplinas  de  origen  de  los  evaluadores  — peda- 
gogia,  psicologia,  sociologia,  economia,  politica,  etc. — cuya  formacion  basica  esta  vin- 
culada  a su  area  de  procedencia,  pero,  en  general,  sienten  una  necesidad  comun  de 
definir  su  afiliacion  profesional,  al  menos,  parcialmente,  en  terminos  no  estrictamente 
especificos  del  campo  disciplinario  en  que  se  mueven. 

No  obstante,  en  los  ultimos  25  anos,  la  evaluacion  ha  sufrido  un  proceso  de  trans- 
formation profunda  de  sus  bases  estructurales  y conceptuales.  Como  senala  House 
(1992),  estructuralmente  se  ha  ido  integrando  cada  vez  mas  en  el  funcionamiento  orga- 
nizativo  de  las  instituciones  y contextualmente  se  ha  flexibilizado,  aceptando  un  alto 
grado  de  pluralismo  teorico  y metodologico. 

Hoy,  en  un  ambiente  de  cambio  educativo  generalizado,  efecto  tanto  de  las  grandes 
reformas  en  marcha  como  de  la  innovation  permanente,  a nivel  institucional  y de  aula, 
la  evaluacion  educativa  cobra  tambien  su  maximo  protagonismo  y presenta  caracterfs- 
ticas  similares  a las  apuntadas  para  el  campo  en  su  conjunto,  como  demuestra  el  enta- 
sis puesto  en  la  evaluacion  del  aprendizaje  de  los  alumnos,  la  evaluacion  de  los 
sistemas  educativos  en  la  perspectiva  regional,  nacional  e internacional,  los  avances  en 
la  evaluacion  de  centros  escolares  y profesores  y especialmente  la  evaluacion  de  pro- 
gramas  educativos  especificos  y de  formacion  continua  de  profesionales. 

HACIA  UNA  PRECISION  CONCEPTUAL 

Como  premisa  para  la  caracterizacion  de  la  funcion  optimizante  de  la  evaluacion 
de  programas  educativos,  objetivo  de  este  articulo,  parece  pertinente  delimitar  con  la 
maxima  precision  el  propio  concepto  de  evaluacion  como  referente  de  los  argumentos 
y analisis  conducentes  a la  demostracion  de  la  tesis  planteada. 

La  evaluacion  constituye  esencialmente  un  juicio  de  valor  sobre  una  realidad  y, 
como  todo  juicio,  se  apoya  en  una  comparacion.  Comparacion  y juicio  son,  pues,  los 
componentes  esenciales  de  la  evaluacion,  su  nucleo  conceptual.  Como  la  comparacion 
exige  dos  terminos,  para  evaluar  precisamos  la  determination  de  la  instancia  o mode- 
lo  con  la  cual  se  ha  de  comparar  la  realidad  objeto  de  evaluacion,  es  decir,  el  patron  o 
criterio.  La  comparacion  implica,  en  consecuencia,  de  una  parte  el  conocimiento,  lo 
mas  completo  posible,  de  la  realidad  (programas  en  nuestro  caso)  a evaluar,  que  nece- 
sariamente  se  apoya  en  un  proceso  previo  de  information  (recogida  de  datos,  medi- 
das,  etc.),  y de  otra,  la  description  ajustada  del  termino  de  comparacion,  del  patron, 
del  criterio. 

Por  otra  parte,  la  evaluacion  tiene  un  caracter  instrumental.  En  education,  como  en 
otros  campos,  evaluamos  para  algo  que  trasciende  a la  propia  evaluacion.  Se  evalua 
para  promocionar  a los  alumnos,  o a los  profesores,  para  adoptar  tal  o cual  objetivo, 
programa  o procedimiento  didactico,  para  mejorar,  en  suma  la  ensenanza  y el  aprendi- 
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zaje.  La  evaluacion,  pues,  cumple  unas  funciones  definidas  en  el  contexto  educacional; 
sus  resultados  son  susceptibles  de  un  uso  determinado,  de  acuerdo  con  las  funciones 
previstas.  En  general,  podemos  afirmar  que  se  evalua  para  tomar  decisiones  respecto 
al  proceso  o producto  evaluados.  A1  juicio  de  valor  en  el  que  la  evaluacion  consiste 
sigue  una  decision. 

En  consecuencia,  podriamos  definir  la  evaluacion  de  programas  como  el  proceso 
sistematico  de  recogida,  analisis  e interpretation  de  information  relevante  y fiable 
para  describir  un  programa  educativo,  o una  faceta  significativa  del  mismo,  y formu- 
lar  un  juicio  sobre  su  adecuacion  a un  criterio  o patron,  que  represente  un  valor  acep- 
tado,  como  base  para  la  toma  de  decisiones  sobre  tal  programa  o faceta  programatica. 

LAS  FUNCIONES  DE  LA  EVALUACION 

Dado  el  caracter  instrumental  de  la  evaluacion,  ya  senalado,  la  determination  de 
las  funciones  y usos  constituye  una  de  las  exigencias  basicas,  tanto  en  la  perspectiva 
teorica  — su  conceptualization — como  en  la  perspectiva  de  la  practica  evaluativa. 
Cual  sea  la  conception  del  sentido  ultimo,  del  para  que  de  la  evaluacion  y cual  sea  su 
concretion  en  los  objetivos  especificos  de  cada  proyecto  evaluativo,  son  factores  alta- 
mente  condicionantes,  quiza  determinantes,  del  efecto  de  la  evaluacion  sobre  el  objeto 
evaluado  y su  contexto,  es  decir,  del  exito  o fracaso  del  instrumento  evaluativo. 

Convencionalmente  se  habla,  por  una  parte,  de  la  funcion  de  diagnostico  como 
base  de  la  intervention  educativa  y de  pronostico  y prevention;  y,  por  otra,  de  la  fun- 
cion de  control  y rendimiento  de  cuentas  que  supone  informar  a usuarios  y consumi- 
dores  de  programas  educativos,  a las  familias,  a los  gestores  y decisores  y,  en  ultimo 
extremo,  a la  sociedad  en  general,  acerca  del  valor  o merito  del  objeto  evaluado  — pro- 
gramas educativos — y certificar  conocimientos  y competencias  generates  y profesio- 
nales  adquiridas  en  tales  programas  por  los  participates,  con  garantia  de  objetividad. 

Tradicionalmente  estas  dos  categories  de  usos  de  la  evaluacion  han  sido  denomina- 
das  funcion  formativa  y funcion  sumativa  respectivamente.  El  primero  en  usar  esta 
terminologia  fue  Scriven  (1967)  quien  caracterizo  a la  evaluacion  formativa  como  eva- 
luacion de  procesos  y a la  evaluacion  sumativa  como  evaluacion  final,  asumiendo, 

. claro  esta,  que  la  evaluacion  final  de  un  programa  se  identifica  con  la  evaluacion  de  su 
producto.  Poco  despues,  Bloom  (1969  y 1971)  circunscribio  la  funcion  formativa  a la 
evaluacion  diagnostica  que,  refiriendose  a los  alumnos,  tratarfa  de  determinar  el  esta- 
do  de  su  aprendizaje  en  cualquier  momento  del  proceso  discente,  mientras  que  la  fun- 
cion sumativa  seria  la  propia  de  una  evaluacion  centrada  en  situar  a cada  alumno, 
respecto  a su  aprendizaje,  en  el  punto  que  le  corresponde  en  un  continuo  de  compe- 
tence (del  nivel  mas  bajo  — incompetence — al  nivel  mas  alto  — maxima  competen- 
ce— ).  Finalmente,  Stuffelebeam  (1974)  matiza  estos  conceptos  asignando  a la 
evaluacion  formativa  el  caracter  de  pro-activa  y cuya  funcion  podrfa  identificarse  con 
la  toma  permanente  de  decisiones  sobre  los  procesos  del  programa;  y considerando  a 
la  evaluacion  sumativa  como  retro-activa  con  la  funcion  de  exigir  responsabilidades  o 
rendition  de  cuentas,  naturalmente  como  consecuencia  de  los  resultados  finales  del 
programa. 
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Las  diferencias  entre  ambos  tipos  de  funcion  responden  basicamente  a una  doble 
consideration:  el  momento  de  su  aplicacion  en  el  continuo  del  proceso  educativo,  por 
un  lado,  y la  modalidad  de  las  decisiones  a que  da  lugar,  es  decir,  el  uso  que  se  hace  de 
la  evaluation  en  cada  caso,  por  otro  lado.  Ambas  perspectivas  combinadas  determi- 
nan,  a su  vez,  la  faceta  del  programa  en  que  con  mas  probabilidad  se  centrara  la  eva- 
luation (contexto,  plan,  proceso  o producto). 

En  consecuencia,  la  evaluation  de  caracter  formativo  se  centra  en  las  fases  previas 
al  desarrollo  del  programa  (la  determination  de  las  necesidades  a satisfacer,  en  el 
desarrollo  mismo,  en  su  plan  y diseno  y en  los  distintos  estadios  de  su  puesta  en  ope- 
ration, lo  que  supone  decisiones  diagnosticas  y de  retroinformacion  a los  planificado- 
res  y aplicadores  del  programa  para  el  perfeccionamiento  del  mismo. 

Mas  precisamente,  la  evaluation  formativa  proporciona  la  information  adecuada 
para  la  mejora  de  los  procesos  educativos  y a traves  de  ellos,  del  producto. 

Por  su  parte,  la  evaluation  sumativa  tiene  generalmente  caracter  final  y por  tanto 
se  centra  basicamente  en  los  resultados  inmediatos,  productos  mediatos  e impacto  de 
los  programas  educativos. 

Las  decisiones  que  definen  esta  funcion  evaluativa  apuntan  a la  selection,  clasifica- 
cion  y promotion  de  alumnos  y a la  certification  de  conocimientos  y competencias. 
Asi  mismo  constituye  la  forma  tfpica  de  evaluation  para  decidir  la  continuidad  o ter- 
mination de  un  programa,  modelo  de  organization,  centro,  etc.  En  resumen,  controlar 
el  valor  de  un  programa  (funcionalidad  o pertinencia,  eficacia  y /o  eficiencia). 

Recientemente,  y casi  siempre  en  conexion  con  las  discusiones  en  torno  a los  mode- 
los  de  evaluation  de  instituciones  educativas,  se  suele  aceptar,  en  general  de  forma 
mecanica  y acritica,  la  existencia  de  dos  modalidades  de  evaluation,  la  orientada  al 
control,  identificada  en  gran  medida  con  la  evaluation  sumativa,  y la  orientada  a la 
mejora.  identificada  con  la  evaluation  formativa.  La  frecuente  referencia  al  equiparar 
la  evaluation  formativa  a la  mejora  y perfeccionamiento  del  proceso,  y las  escasas  alu- 
siones  a decisiones  de  este  tipo  al  caracterizar  a la  evaluation  sumativa,  puede  ser  una 
explication  plausible.  No  parece  necesario  documentar,  por  obvio,  que  la  modalidad 
evaluativa  orientada  a la  mejora  es  la  que  goza  de  una  aceptacion  casi  universal. 

Sin  embargo,  la  objecion  mas  suave  a esta  position  es  la  de  su  simplicidad.  La 
ausencia  de  matices  a su  vez  convierte  esta  clasificacion  en  un  error.  Una  considera- 
tion atenta  del  concepto  de  evaluation  y sus  implicaciones  pone  claramente  de  mani- 
fiesto  que  la  evaluation,  toda  evaluation,  se  justifica  en  su  condition  instrumental  por 
su  funcion  optimizante  del  objeto  evaluado  y su  contexto.  Si  esto  es  asi,  la  evaluation 
orientada  al  control  solo  se  justificara  como  evaluation  educativa  si  mejora  la  educa- 
tion. En  esta  perspectiva,  la  decision  de  suprimir  un  programa,  una  disciplina,  un  plan 
de  estudios  e incluso  una  institution  escolar  como  consecuencia  de  una  evaluation 
sumativa  o de  control,  se  supone  que  mejora  la  education.  La  diferencia  con  la  evalua- 
tion formativa  (de  mejora)  es  que  el  perfeccionamiento,  el  proceso  de  optimization,  es 
diferente,  esta  pautado  por  decisiones  distintas. 

En  otro  trabajo  (De  la  Orden,  1981)  formulaba  asi  lo  que  podria  ser  la  base  concep- 
tual de  la  funcion  general  de  la  evaluation  educativa  propuesta,  es  decir,  la  optimiza- 
tion de  la  education:  Sea  cual  fuere  la  modalidad  o tipo  de  evaluation  adoptada  en 
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cualquier  contexto  educativo,  su  influencia  sobre  el  proceso  y el  producto  de  la  educa- 
tion es  decisiva  y afecta  directa  o indirectamente  a su  calidad,  siempre  claro  esta  que  la 
evaluacion  tenga  consecuencias,  es  decir,  siempre  que  se  tomen  las  decisiones  en  fun- 
cion de  las  cuales  se  decidio  la  evaluacion.  Una  evaluacion  sin  consecuencias  es  inutil 
y puede  ser  perjudicial  para  el  objeto  evaluado  y su  contexto. 

INFLUENCIA  DE  LA  EVALUACION  EN  LA  CALIDAD  DE  LA  EDUCACION 

La  explication  de  la  influencia  constatada  en  la  evaluation  en  el  proceso  y el  pro- 
ducto de  la  education  se  apoya  en  el  hecho  de  que  las  necesarias  consecuencias  de  la 
evaluacion  modifican  en  algun  sentido  el  objeto  evaluado,  en  nuestro  caso,  el  progra- 
ma  educativo,  y tambien  en  alguna  forma,  la  situation  de  las  audiencias  implicadas  en 
el  mismo.  Estos  efectos  al  ser  percibidos  por  las  audiencias  como  positivos  o negativos 
— deseables  o no  deseables — condicionan  el  alto  grado  la  conducta  de  estas  audien- 
cias en  el  contexto  del  programa  educativo.  Por  otra  parte,  el  elemento  determinante 
del  sentido  de  la  modification  del  objeto  evaluado  es,  sin  duda,  la  instancia  de  referen- 
da. En  efecto,  los  criterios  indican  lo  que  se  exige  del  programa,  del  profesor,  del 
alumno,  para  que  el  juicio  de  valor  sobre  el  mismo  sea  favorable.  La  perception  por  las 
audiencias  crfticas  de  esta  situation  guiara  su  conducta  en  la  medida  en  que  estan  inte- 
resadas  realmente  en  el  objeto  evaluado  y en  las  consecuencias  de  su  evaluacion.  Pare- 
ce  evidente  que  los  alumnos  intentan  satisfacer  las  exigencias  (criterios)  de  los 
examenes  respecto  a su  aprendizaje;  los  profesores,  en  la  medida  en  que  la  evaluacion 
tenga  consecuencias  para  su  estatus  y su  profesion,  trataran  de  ajustar  su  docencia  a 
las  exigencias  — criterios — del  modelo  evaluativo;  los  gestores  de  cualquier  programa 
educativo  trataran  de  modelar  los  procesos  y productos  del  mismo  a las  exigencias  — 
criterios — de  la  evaluacion.  De  forma  general,  por  tanto,  podemos  afirmar  que  el 
modelo  de  comportamiento  implfcito  en  los  criterios  de  evaluacion,  al  constituir  una 
expresion  concreta  de  lo  que  se  espera  del  programa  realmente,  puesto  que  es  lo  que 
exige  de  hecho,  define  de  una  manera  efectiva  los  objetivos  reales  y operantes  de  la 
education  independientemente  de  lo  estipulado  formalmente  y de  que  existan  o no 
formulaciones  expresas  de  los  mismos. 

En  consecuencia,  si  consideramos  el  principio  de  la  determination  teleologica  de 
los  medios  (con  toda  la  relatividad  que  se  quiera,  los  fines  y objetivos  condicionan  de 
alguna  manera  los  medios  para  alcanzarlos),  debemos  concluir  que  la  evaluation,  al 
prescribir  realmente  los  objetivos  de  la  education,  determina,  en  gran  medida,  las 
caracterfsticas  de  la  intervention  y el  aprendizaje  resultante,  lo  que  los  alumnos  apren- 
den  y como  lo  aprenden,  lo  que  los  profesores  ensenan  y como  lo  ensenan,  los  conteni- 
dos  y los  metodos,  en  otras  palabras,  el  producto  y el  proceso  del  programa.  En  efecto, 
si  la  calidad  de  la  education  esta  vinculada  a un  sistema  de  coherencias  en  el  proceso 
total  de  la  education,  la  virtualidad  de  la  evaluation  como  estfmulo  o freno  de  la  cali- 
dad educativa  dependera  enteramente  de  las  caracterfsticas  del  esquema  evaluador:  Si 
los  criterios  y los  modos  de  evaluacion,  que  determinan  a su  vez  los  objetivos  reales,  y 
en  ultima  instancia  el  producto  del  programa,  son  coherentes  con  los  objetivos  formal- 
mente establecidos  — o sobre  los  que  existe  un  consenso  implfcito — , y,  a traves  de 
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ellos,  con  el  sistema  de  valores  del  que  derivan,  la  evaluacion  actuara  como  el  mas 
poderoso  factor  de  promotion  de  la  calidad  educativa  al  garantizar  la  congruencia  y 
eficacia  del  sistema  en  su  conjunto.  Si,  por  el  contrario,  los  criterios  y modos  de  eva- 
luacion movilizan  los  procesos  educativos  hacia  los  objetivos  no  coherentes  con  las 
metas  formalmente  establecidas  o implicitamente  aceptadas  del  programa  ni,  en  con- 
secuencia,  con  el  sistema  axiologico  en  que  se  sustentan,  la  evaluacion  se  constituye  en 
el  mayor  obstaculo  a la  calidad. 

CONDICIONES  GENERALES  DE  LA  EVALUACION  COMO  INSTRUMENTO 
DE  OPTIMIZACION  EDUCATIVA 

Dado  que  la  evaluacion  del  aprendizaje  puede  influir  positiva  o negativamente  en 
la  calidad  de  la  educacion,  resulta  necesario  determinar  que  caracteristicas  debe  pose- 
er  un  modelo  evaluativo  para  maximizar  sus  efectos  positivos  y minimizar  o anular 
los  negativos. 

Evidentemente,  la  condicion  fundamental  de  un  sistema  de  evaluacion  es  que  sea 
educativamente  valido,  lo  que  implica  no  solamente  que  los  instrumentos  de  medida 
utilizados  (test,  pruebas,  escalas  de  observation,  procedimientos  no  formales,  etc.) 
sean  validos  en  el  sentido  tradicional,  sino  tambien  que  exista  un  maximo  de  con- 
gruencia entre  los  criterios  y modos  de  evaluacion,  la  especificacion  de  los  objetivos 
del  programa  y el  proceso  de  intervencion.  El  elemento  comun  entre  criterios  de  eva- 
luacion, objetivos  y proceso  de  intervencion  es  el  comportamiento  cognitivo,  afectivo 
y psicomotor  de  los  alumnos  claramente  especificado.  En  efecto,  los  objetivos  no  son 
otra  cosa  que  la  especificacion  de  este  comportamiento  o de  la  capacidad  para  el 
mismo  en  forma  de  resultados  esperados  del  proceso  educativo;  los  criterios  de  eva- 
luacion, lo  que  exige,  constituyen,  en  conjunto,  una  muestra  representativa  de  tal  com- 
portamiento; y el  proceso  didactico  se  apoya  en  este  comportamiento  como  base  para 
su  adquisicion. 

En  consecuencia,  la  validez  educativa  de  la  evaluacion  del  aprendizaje,  como  base 
de  la  calidad  de  la  educacion,  significa: 

1)  Que  los  objetivos  del  programa  sean  claramente  identificados  y formulados  sin 
ambiguedad.  Para  que  la  evaluacion  no  se  desvie  de  los  objetivos  del  programa, 
es  necesario  conocer  con  la  maxima  precision  tales  objetivos. 

2)  Que  los  criterios  de  evaluacion  (lo  que  se  exige  del  programa  y como  se  exige) 
deben  constituir  una  adecuada  muestra  representativa  de  los  contenidos  y con- 
ductas  especificadas  en  los  objetivos.  Esta  es  la  condicion  basica  de  la  evalua- 
cion como  palanca  de  la  calidad  de  la  educacion.  Todo  profesor  ha  comprobado 
que  los  estudiantes  aprenden  mucho  mas  y de  manera  mas  efectiva  todo  aque- 
llo  que  es  objeto  de  evaluacion  y control.  La  evidencia  experimental  ha  confir- 
mado  claramente  esta  hipotesis.  Baste  citar  el  ya  antiguo  estudio  comparative 
de  Walker  y Schaffarzick  (1974)  sobre  evaluaciones  del  curriculum  en  el  que  se 
puso  de  manifiesto  que  cuando  las  pruebas  de  rendimiento  estan  en  lfnea  con 
las  metas  del  programa  innovador  este  resulta  mas  eficaz  que  el  programa  tra- 
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dicional  con  el  que  se  compara.  Por  el  contrario,  cuando  las  pruebas  no  cumplen 
esta  condition,  resultan  superiores  los  programas  tradicionales.  Por  otra  parte, 
el  intento  de  alinear  los  criterios  de  evaluation  con  los  objetivos  contribuye 
decisivamente  a clarificar  a estos  y a resaltar  su  importancia  en  el  pensamiento 
de  profesores  y alumnos.  Las  metas  educacionales  se  hacen  mas  definidas  y sig- 
nificativas,  incrementando  la  coherencia  entre  criterios  de  evaluation,  objetivos 
formales  y aspectos  del  aprendizaje  considerados  por  alumnos  y profesores 
como  resultados  educativos  valiosos  e importantes. 

3)  Que  la  forma,  procedimientos  e instrumentos  de  evaluation  exijan  los  compor- 
tamientos  especificados  en  los  objetivos  del  modo  mas  directo.  Es  decir,  la  tecni- 
ca  evaluativa  empleada  (observation  de  procesos,  analisis  de  productos, 
informe,  examen  escrito  tradicional,  cuestiones  de  recuerdo  o reconocimiento, 
pruebas  con  materiales  o sin  materiales,  examenes  orales,  etc.)  debe  estar  direc- 
ta y estrechamente  relacionada  con  las  caracterfsticas  del  aprendizaje  o realiza- 
tion deseadas.  Si  un  objetivo  de  un  programa  de  Qufmica  es  que  los  estudiantes 
manejen  adecuadamente  determinadas  piezas  del  equipo  del  laboratorio,  exigir 
la  description  oral  de  como  manejarfa  tales  piezas,  o la  elaboration  de  un  esque- 
ma  grafico  del  proceso,  son  formas  evaluativas  menos  validas  que  requerir  el 
desarrollo  real  del  proceso  en  el  propio  laboratorio. 

4)  Que  la  evaluation  sea  fiable  y objetiva  en  el  sentido  de  que  el  azar  o los  errores 
instrumentales  tengan  un  efecto  mfnimo  en  los  resultados. 

Una  evaluation  asf  concebida  supone,  en  principio,  el  requisito  esencial  para  ase- 
gurar  el  sistema  de  coherencias  en  que  consiste  la  calidad  de  la  education.  La  relation 
directa  y la  correspondencia  entre,  objetivos  formales,  objetivos  reales,  procesos  ins- 
tructivos  y resultados  de  un  programa,  de  tal  manera  que  resulten  isomorficos,  consti- 
tuye  la  unita  garantfa  de  un  sistema  con  un  alto  grado  de  coherencia  interna  y externa 
con  las  expectativas  y los  resultados. 

OPTIMIZACION  EDUCATIVAY  EVALUACION  DE  LAS  FASES  DEL  PROGRAMA 

Una  forma  de  incrementar  la  potencia  optimizante  de  los  programas  educativos 
consiste  en  asociar  la  evaluation  a su  planificacion,  desarrollo  y aplicacion.  Una  de 
las  caracterfsticas  basicas  de  la  evaluation  es  su  caracter  instrumental.  La  evaluation, 
como  senalamos,  mas  alia  de  un  juicio  de  valor,  se  justifica  porque  permite  el  ajuste 
de  las  decisiones  sobre  el  objeto  o faceta  del  objeto  evaluado,  y este  ajuste  decisional 
supone  en  todas  las  circunstancias  una  mejora  del  objeto  (programa,  curriculum, 
innovation  de  todo  orden).  La  funcion  evaluativa,  como  hemos  senalado,  cualquiera 
que  sea  el  objetivo  especffico  en  cada  caso,  sera  siempre  la  optimization  de  las  alter- 
nativas  a la  situation  evaluada. 

Cualquiera  que  sea  el  origen,  objetivos,  estructura  y alcance  del  programa  educati- 
vo,  el  paso  initial  en  evaluation  consiste  en  determinar  su  necesidad.  El  analisis  del 
contexto  llevara  a la  selection  de  problemas,  al  diagnostico  situational,  que  se  plasma- 
ra  en  un  conjunto  de  necesidades  educativas  priorizadas  que  habran  de  ser  satisfechas 
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a traves  del  programa.  La  evaluacion  de  necesidades  se  convierte  en  la  fase  previa  de 
la  planificacion  ya  que  su  resultado  sera  la  identificacion  de  las  metas  de  la  accion  edu- 
cativa.  De  esta  forma,  la  evaluacion  de  necesidades  asegura  la  funcionalidad  del  pro- 
grama -dimension  basica  de  la  calidad — al  facilitar  su  coherencia  con  las  aspiraciones, 
expectativas  y necesidades  de  individuos  y grupos. 

El  proceso  de  planificacion  y desarrollo  del  programa  debe  ser  tambien  objeto  de 
evaluacion.  En  este  sentido  habra  de  ser  valorado  el  modelo  de  programa  adoptado  y 
el  propio  modelo  de  planificacion  y desarrollo  que  se  sigue,  asi  como  la  politica  de 
estimulo  y de  planificacion  de  programas  innovadores. 

El  producto  de  la  planificacion  y desarrollo  del  programa  es  el  plan  o propuesta  de 
accion  que,  a su  vez,  habra  de  ser  sometido  a evaluacion,  antes  de  su  puesta  en  opera- 
cion.  Esta  fase  de  la  evaluacion  debe  asegurar  la  adecuacion  del  diseno  del  programa  y 
su  coherencia  interna,  es  decir,  la  congruencia  inter  e intra  componentes  del  plan:  obje- 
tivos,  contenidos,  estrategias,  experiencias  y actividades  de  aprendizaje  y ambientes 
de  intervencion,  materiales  de  apoyo  y previsiones  de  evaluacion.  Un  plan  coherente 
es  una  condition  necesaria,  aunque  no  suficiente,  de  una  intervencion  coherente,  exi- 
gencia  fundamental  de  la  calidad  educativa. 

La  evaluacion  de  la  puesta  en  operation  del  plan  constituye  una  fase  esencial  para 
asegurar  la  calidad  del  programa  y por  tanto,  la  optimizacion  educativa.  Se  trata  de  la 
evaluacion  de  los  procesos  educativos  generados  por  la  aplicacion  del  programa,  a tra- 
ves de  la  observation,  de  pruebas  piloto  y seguimiento.  La  evaluacion  del  proceso  per- 
mitira  constatar  en  que  grado  es  innovadora  la  conducta  docente  y discente  y 
permitira  tomar  decisiones  adecuadas  en  orden  a evitar  que  la  inercia  desdibuje  el  per- 
fil  de  la  innovation,  como  ha  sido  comprobado  en  diversos  estudios.  (Alexander, 
Murphy  y Woods,  1996;  Ekholm  y Kull,  1996)  Asi  mismo,  la  evaluacion  de  los  procesos 
educativos  reales  durante  el  periodo  de  ejecucion  del  plan  constituye  un  requisito 
imprescindible  para  la  evaluacion  del  producto  del  programa.  Es  absolutamente  nece- 
sario  saber  si  los  resultados  constatados  se  deben  a los  procesos  planificados  o a las 
formas  de  conducta,  que  solo  aparentemente  se  presentan  como  las  exigidas  por  el 
programa. 

La  evaluacion  del  producto  o resultados  educativos  del  programa  apuntan  directa- 
mente  a determinar,  por  un  lado,  la  eficacia,  y por  otro,  la  eficiencia  del  mismo  y,  por 
tanto,  la  optimizacion  educativa.  La  eficacia  del  programa  se  constata  bien  en  terminos 
absolutos  — grado  en  que  el  producto  y el  impacto  de  la  accion  educativa  coinciden 
con  los  objetivos  y productos  previstos — , bien  en  terminos  relativos  — grado  en  que 
los  resultados  de  los  procesos  programados  se  acercan  mas  o menos  a los  productos  o 
resultados  de  los  programas  convencionales  de  education  o de  otros  programas  dife- 
rentes — . 

La  evaluacion,  en  suma,  permite  detectar  los  problemas  educativos,  su  extension, 
complejidad  y relevancia  a medida  que  se  van  produciendo.  Esta  constatacion  puede 
dar  lugar  a la  planificacion  de  cambios  e innovaciones  en  programas  concebidos  como 
alternativas  de  solucion  a tales  problemas.  Una  vez  puesto  en  marcha  el  plan  de  traba- 
jo,  como  hipotesis  de  solucion,  la  evaluacion  formativa  proporciona,  desde  el  primer  - 
momento,  information  que  permite  juzgar  en  que  grado  el  programa  o el  cambio  pla- 
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nificado  produce  los  efectos  previstos  en  el  aprendizaje  de  los  alumnos;  y sugiere  las 
eventuales  modificaciones  necesarias  para  el  logro  de  los  objetivos  previstos. 

En  resumen,  la  evaluacion  de  programas  educativos,  en  la  medida  en  que  los  crite- 
rios  sean  congruentes  con  los  objetivos  previstos  y el  diseno  de  evaluacion  sea  el  ade- 
cuado  constituye  la  palanca  mas  importante  para  canalizar  los  procesos  y los 
productos  educativos  hacia  objetivos  valiosos  y deseables  social  e individualmente  y, 
por  tanto,  promueve  la  funcionalidad,  la  eficacia  y la  eficiencia  de  la  educacion  y,  en 
consecuencia,  su  calidad. 
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I.  INTRODUCCION 

Cuando  se  aborda  la  evaluacion  de  resultados  en  los  programas  institucionales, 
especialmente  en  los  niveles  basicos  de  la  educacion,  se  siente  siempre  la  tentacion  de 
evaluar  a todos  y cada  uno  de  los  individuos  sobre  los  que  actua  el  sistema.  Esta  posi- 
bilidad  puede  estar  en  ocasiones  justificada.  Se  trata  del  caso  en  el  que  la  poblacion  de 
referenda  es  tan  pequena  que  la  satisfaction  de  dertos  niveles  de  precision  impone 
una  muestra  cuyo  tamano  es  no  mucho  mas  pequeno. 

Sin  embargo  por  regia  general  la  extraction  de  muestras  presenta  numerosas  ven- 
tajas  que  hacen  recomendable  y beneficioso  el  esfuerzo.  Siguiendo  a Som  (1996),  pode- 
mos  afirmar  que  las  tecnicas  de  muestreo  tienen  la  ventajas  de: 

— mayor  economia, 

— intervalos  de  tiempo  mas  cortos  entre  las  distintas  recogidas  de  informacion, 

— mas  amplio  espectro  de  la  informacion, 

— mayor  calidad  del  trabajo, 

— y posibilidad  de  la  valoracion  de  la  fiabilidad  de  los  resultados 

Ciertamente  si  nos  centramos  en  un  grupo  comparativamente  pequeno  respecto  de 
la  poblacion,  podremos  recoger  mas  informacion  de  cada  individuo,  asegurarnos  que 
los  datos  obtenidos  de  cada  sujeto  son  fiables,  llevar  a cabo  la  recogida  de  informacion 
mas  frecuentemente,  y todo  ello  a un  menor  coste. 

Pero  por  supuesto  los  procedimientos  de  muestreo  pueden  estar  contraindicados 
en  algunas  ocasiones.  Por  ejemplo,  si  como  resultado  de  la  evaluacion  han  de  tomarse 
decisiones  que  repercuten  directamente  en  la  poblacion  evaluada,  no  es  correcto 
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basar  decisiones  respecto  a individuos  en  informaciones  de  grupo.  En  algunos  casos 
esto  resulta  evidente.  No  podemos  afirmar  nada  respecto  de  la  competencia  profesio- 
nal  de  un  docente,  o sobre  los  conocimientos  de  un  alumno,  basandonos  en  los  resul- 
tados  en  la  evaluacion  de  la  competencia  profesional  de  los  docentes  de  una  region,  o 
en  la  evaluacion  de  los  conocimientos  de  todos  los  alumnos  de  un  pais.  Ni  siquiera 
aunque  tuviesemos  los  resultados  especfficos  de  ese  sujeto  estaria  justificada  dicha 
practica.  No  ya  solo  por  cuestiones  morales  de  respeto  a la  confidencialidad,  sino 
sobre  todo  porque  lo  que  puede  representar  una  muestra  muy  informativa  de  las  con- 
ductas  o conocimientos  de  un  sujeto  de  una  muestra,  puede  no  serlo  de  las  conductas 
o conocimientos  del  sujeto  «per  se».  Esto  es  especialmente  cierto  en  los  disenos 
«matrix  sampling»  en  los  que  de  cada  sujeto  se  obtiene  solo  una  parte  de  la  informa- 
cion  relevante. 

Pero  aunque  no  es  tan  evidente,  tampoco  pueden  tomarse  decisiones  sobre  un  cen- 
tro  basandonos  en  los  resultados  de  uno  de  sus  grupos  que  fue  seleccionado  para  per- 
tenecer  a una  muestra  nacional.  Ese  elemento  muestral  es  adecuado  para  la  evaluacion 
nacional,  y aporta  una  cierta  cantidad  de  informacion  a ese  proposito.  Sin  embargo  no 
es  representativa  del  centro  del  que  procede,  ya  que  el  dominio  no  coincide  con  el 
mismo.  £sta  es  una  de  las  muchas  tentaciones  en  las  que  pueden  caer  los  representan- 
tes  politicos  o los  administradores  cuando  se  encuentran  con  la  informacion  que  pro- 
porciona  una  evaluacion.  Son  muchas  las  posibilidades  de  uso  indebido  de  la 
informacion  procedente  de  los  muestreos,  y por  eso  es  tan  importante  que  desde  su 
inicio  esten  bien  definidos  los  objetivos  de  la  evaluacion  y que  los  sujetos  y las  institu- 
ciones  evaluadas  sepan  de  antemano  cual  es  el  uso  que  se  va  a dar  a esa  informacion,  y 
sobre  todo,  que  uso  no  se  va  a dar  jamas  a la  misma. 

Ciertamente  no  es  este  el  lugar  para  desarrollar  la  teorfa  del  muestreo,  ni  los  distintos 
procedimientos.  Sin  embargo  podemos  destacar  aquellos  conceptos  relevantes  al  mues- 
treo para  la  evaluacion,  y aclarar  algunos  problemas  que  en  la  misma  se  presentan. 

Nos  vamos  a referir  por  tanto  a la  poblacion  objetivo,  a los  dominios,  a los  estratos, 
a los  conglomerados,  a la  correlation  intra-clase,  al  muestreo  de  los  conglomerados,  al 
tamafio  de  la  muestra  o las  ponderaciones  de  los  datos  y sus  efectos,  y a un  caso  espe- 
cial en  el  muestro. 

2.  LA  POBLACION  OBJETIVO 

Cuando  se  planifica  una  evaluacion,  una  cuestion  que  aparentemente  esta  siempre 
clara  es  cual  es  la  poblacion  objetivo,  es  decir,  cual  es  el  grupo  de  sujetos,  o en  general 
unidades  de  analisis,  a las  que  la  informacion  recabada  por  la  evaluacion  va  a hacer 
referencia.  Por  lo  general  una  primera  definicion  permite  acercarse  bastante  al  objetivo 
buscado.  Por  ejemplo,  «todos  los  alumnos  correspondientes  al  curso  modal  de  14 
anos».  Esta  primera  definicion  determina  cual  es  la  poblacion  implfcitamente  exclui- 
da.  Se  trata  de  todos  los  alumnos,  independientemente  de  su  edad,  que  correspondan 
a cursos  cuya  edad  modal  no  sea  14  afios. 

Sin  embargo  se  presentan  dudas  que  es  preciso  resolver.  ^Deben  incluirse  los  alum- 
nos que  estan  implicados  en  programas  complementarios  de  education  especial?  En 
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ese  caso  debe  acudirse  al  objetivo  de  la  evaluacion  para  responder  a la  cuestion.  Por 
ejemplo,  podria  ser  el  objetivo  del  estudio  la  evaluacion  de  la  accion  del  sistema 
excluido  el  subsistema  de  education  especial,  cuya  evaluacion  se  realizarfa  en  fase  dis- 
tinta.  Eso  entonces  nos  lleva  a determinar  la  poblacion  expli'citamente  excluida.  Asi, 
en  el  estudio  del  INCE  (1998)  «se  determino  como  poblacion  excluida  los  alumnos  con 
necesidades  educativas  especiales  tales  que  impidiesen  contestar  la  prueba  en  igual- 
dad  de  condiciones  espaciales  y temporales  con  los  demas  alumnos  del  grupo.  Se  ins- 
truyo  a los  aplicadores  para  que  aplicasen  a estos  alumnos  las  pruebas  igual  que  al 
resto  de  sus  companeros,  y solo  a posteriori  deberfan  identificar  dichas  pruebas  para  su 
exclusions 

3.  LOS  DOMINIOS 

Un  dominio  se  refiere  a una  subdivision  de  la  poblacion  para  la  que  se  han  planea- 
do,  designado  y seleccionado  diferentes  muestras,  con  el  objeto  de  proporcionar  resul- 
tados  especificos  para  la  misma  con  un  conocido  margen  de  error.  (Kish,  1987).  Esto 
quiere  decir  que  los  resultados  se  proporcionaran  con  una  precision  determinada  para 
cada  dominio,  y que  el  resultado  global  procedera  de  una  combination  adecuada  de 
los  resultados  de  todos  los  dominios.  Lo  habitual  es  que  los  dominios  coincidan  con 
ciertas  unidades  politico-administrativas,  tales  como  regiones,  comunidades,  provin- 
cias,  etc. 

Si  se  decide  la  utilizacion  de  dominios,  entonces  el  muestreo  en  la  practica  se  reali- 
za  como  si  cada  uno  de  los  mismos  fuese  una  poblacion  de  la  que  hay  que  extraer  una 
muestra  representativa.  Naturalmente  tiene  que  ocurrir  que  la  muestra  agregada  de 
todos  los  dominios  a su  vez  cumpla  los  requisitos  de  representatividad  establecidos 
para  la  poblacion  total. 

4.  LOS  ESTRATOS 

Es  conocido  que  cuando  se  clasifica  a una  poblacion  segun  ciertas  caracteristicas 
demograficas,  los  grupos  asi  formados  tienden  a ser  mas  homogeneos  respecto  a otras 
variables  de  interes  que  el  conjunto  de  la  poblacion.  Asi  por  ejemplo,  la  varianza  en 
altura  de  los  sujetos  de  alto  nivel  socio-economico  familiar  es  menor  que  la  varianza 
en  altura  de  la  poblacion  en  general.  Los  grupos  asi  formados  se  denominan  estratos,  y 
su  utilizacion  permite  obtener  mayor  cantidad  de  information  de  la  muestra  utilizan- 
do  menos  sujetos.  A esto  se  le  llama  efecto  diseno,  y consiste  en  la  diminution  o el 
aumento  del  tamaho  de  la  muestra  respecto  al  muestreo  aleatorio  simple  debido  al 
tipo  de  muestreo  utilizado. 

La  utilizacion  de  estratos  es  muy  recomendable  en  la  evaluacion,  aunque  tambien 
es  posible  que  un  numero  excesivo  de  estratos  haga  la  extraction  de  la  muestra  exce- 
sivamente  compleja,  compensando  negativamente  las  ventajas  obtenidas  por  la  dis- 
minucion de  la  varianza.  En  teoria  los  estratos  dividen  horizontalmente  a los 
dominios.  Es  posible  incluso  que  cada  dominio  tenga  una  estratificacion  distinta, 
reflejando  los  intereses  diversos  de  los  administradores.  Pero  tambien  es  posible  que 


396 


Jose  Luis  Gaviria  Soto 


una  cierta  combination  de  estratos  se  convierta  en  un  subdominio.  Por  ejemplo,  es 
frecuente  que  los  administradores  deseen  conocer  con  un  nivel  predeterminado  de 
precision  los  rendimientos  en  los  centros  publicos  y en  los  centres  privados  en  una 
region  determinada.  En  ese  caso  los  alumnos  de  centros  publicos  y de  centros  priva- 
dos de  dicha  region  se  convierten  en  subdominios  de  los  que  habra  que  extraer  mues- 
tras  representativas. 

^Cuantos  estratos  pueden  definirse  en  un  procedimiento  de  muestreo?  La  tenta- 
cion  vuelve  a ser  la  de  definir  el  mayor  numero  posible.  Sin  embargo,  como  regia  prac- 
tica,  diremos  que  el  numero  maximo  de  estratos  definidos  no  debe  ser  mayor  que  la 
mitad  del  numero  de  unidades  primarias  de  muestreo.  El  sentido  de  esta  regia  consis- 
te  en  que  debe  ser  posible  calcular  el  error  muestral,  y para  ello  es  necesario  al  menos 
dos  de  estas  unidades  por  cada  estrato. 

Las  variables  de  estratificacion  mas  habituales  son  la  clasificacion  administrativa 
(provincia,  estado,  region,  comunidad  autonoma),  ambito  rural  o urbano,  nivel  socio- 
economico  del  distrito  escolar  o del  entorno  de  la  escuela,  naturaleza  publica  o priva- 
da  del  centre,  tamano  del  centre,  etc. 

5.  LOS  CONGLOMERADOSY  LA  CORRELACION  INTRA-CLASE 

Una  particularidad  que  el  sistema  educativo  comparte  con  otras  organizaciones 
sociales  es  que  los  sujetos  forman  grupos  que  comparten  tiempo  y actividades.  De 
hecho  acceder  a un  solo  individuo  es  practicamente  tan  costoso  como  acceder  a todo  el 
grupo  primario,  en  este  caso  el  aula.  Logicamente  conviene  entonces  recabar  informa- 
tion no  de  un  solo  sujeto,  sino  de  los  sujetos  de  toda  el  aula.  Este  grupo  primario  es  un 
conglomerado.  El  hecho  de  que  todos  los  individuos  del  conglomerado  compartan 
tiempo,  y actividades,  ademas  de  que  probablemente  proceden  del  mismo  entorno 
social,  etc.,  hace  que  estos  sujetos  sean  entre  si  mas  homogeneos  que  con  relation  a los 
demas  individuos  de  la  poblacion.  Pero  el  efecto  de  esta  mayor  homogeneidad  en  los 
conglomerados  tiene  un  efecto  contrario  al  que  se  produtia  en  los  estratos. 

Supongamos  que  para  obtener  una  muestra  representativa  de  una  poblacion  nece- 
sitamos  una  muestra  de  300  sujetos  por  muestreo  aleatorio  simple.  Si  el  investigador 
accede  a centros  en  los  que  hay  30  sujetos  por  aula,  podrfa  parecer  que  visitando  10 
centros  obtendria  toda  la  information  necesaria. 

Pero  imaginemos  por  un  momento  que  la  action  del  sistema  educativo  es  tan  fuer- 
te  que  todos  los  alumnos  de  un  mismo  centre  fuesen  exactamente  iguales  en  las  varia- 
bles de  interes,  es  decir,  que  la  varianza  dentro  de  los  centros  fuese  cere,  y que  todas 
las  diferencias  en  la  poblacion  fuesen  debidas  a la  diferente  influencia  de  cada  centre. 
En  ese  caso,  la  information  que  proporciona  un  centre  se  obtiene  con  un  solo  sujeto,  y 
el  resto  de  los  individuos  proporcionarfa  information  redundante.  Esto  quiere  decir 
que  cuando  el  investigador  evalua  a los  treinta  sujetos  de  un  centre  la  information 
obtenida  no  es  mayor  que  la  que  proporciona  uno  solo.  Por  tanto  despues  de  visitar  10 
centros,  y aunque  haya  evaluado  a sus  trescientos  sujetos,  tiene  information  corres- 
pondiente  solo  a 10  de  los  300  individuos  necesarios  para  que  su  muestra  sea  repre- 
sentativa. 
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En  el  otro  extremo,  si  los  sujetos  fuesen  completamente  heterogeneos  dentro  de  las 
aulas,  y los  centros  fuesen  completamente  equivalentes  unos  y otros,  es  decir,  si  toda  la 
varianza  en  la  poblacion  fuese  debida  solo  a las  diferencias  intra-aula,  bastaria  con 
recoger  la  information  de  esos  10  centros  para  completar  la  muestra. 

El  indice  que  mide  la  mayor  o menor  homogeneidad  de  los  sujetos  en  los  conglo- 
merados  es  la  correlacion  intra-clase.  De  hecho  la  correlacion  intra-clase  es  una  medi- 
da  de  la  proporcion  de  la  varianza  total  que  es  debida  a las  diferencias  dentro  de  los 
conglomerados. 

En  el  muestreo  por  conglomerados  el  efecto  diseno  tiene  un  efecto  negativo.  Esto 
quiere  decir  que  cuanto  mayor  sea  la  correlacion  intra-clase,  mayor  debera  ser  el  tama- 
no de  la  muestra  final  respecto  de  lo  que  hubiera  sido  si  se  tratase  de  muestreo  aleato- 
rio  simple. 

6.  EL  MUESTREO  DE  LOS  CONGLOMERADOS 

Que  la  muestra  sea  representativa  supone  que  todos  los  sujetos  de  la  poblacion 
objetivo,  o en  su  caso  del  dominio,  tengan  la  misma  probabilidad  de  pertenecer  a la 
muestra.  Cuando  las  unidades  primarias  de  muestreo  son  los  conglomerados,  es 
decir,  las  aulas,  si  todas  las  aulas  tienen  la  misma  probabilidad  de  formar  parte  de  la 
muestra,  entonces  los  sujetos  que  estan  en  aulas  mas  pequenas  tienen  mayor  probabi- 
lidad de  formar  parte  de  la  muestra  que  la  que  en  puridad  les  corresponde.  Esto  quie- 
re decir  entonces  que  las  aulas  no  deben  tener  la  misma  probabilidad  de  formar  parte 
de  la  muestra.  Las  aulas  pequenas  deben  tener  menor  probabilidad  y las  grandes 
mayor.  Es  decir,  el  muestreo  debe  realizarse  con  probabilidad  proporcional  al  tamano 
del  aula. 

7.  EL  TAMANO  DE  LA  MUESTRA 

Es  una  creencia  muy  generalizada  entre  los  no  especialistas  que  lo  que  determina 
esencialmente  el  tamano  de  la  muestra  es  el  tamano  de  la  poblacion  a que  esa  muestra 
tiene  que  representar.  Segun  esto,  para  una  poblacion  de  100.000  sujetos,  corresponde- 
nt una  muestra  de  doble  tamano  que  para  una  poblacion  de  50.000  individuos.  Sin 
embargo,  no  es  asi.  Para  un  nivel  de  confianza  dado,  los  parametros  que  mas  afectan  al 
tamano  de  la  muestra  son  el  error  muestral  maximo  que  se  esta  dispuesto  a asumir,  la 
desviacion  tipica  de  la  variable  medida,  y la  correlacion  intra-clase  en  el  caso  del 
muestreo  por  conglomerados.  En  la  grafica  1 vemos  la  relacion  que  existe  entre  el 
tamano  de  la  desviacion  tipica  de  la  poblacion  y el  tamano  necesario  de  la  muestra 
para  un  error  muestral  maximo  de  1,5  puntos  a un  nivel  de  confianza  del  95%,  en  dos 
poblaciones  distintas,  una  con  12.000  sujetos,  y otra  mucho  mas  grande  de  450.000. 
Como  vemos  para  una  sigma  de  9,5  puntos  por  ejemplo,  el  tamano  de  la  muestra  que 
garantiza  un  error  no  mayor  de  1,5  es  de  158  sujetos  en  una  poblacion  de  12.000  suje- 
tos, y de  160  en  una  poblacion  de  450.000. 

Por  tanto,  garantizando  un  cierto  valor  de  error  muestral  maximo  el  tamano  de  la 
poblacion  no  va  a afectar  de  forma  sustancial  al  tamano  de  la  muestra. 
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For  esta  razon  las  diferencias  en  el  tamano  de  las  muestras  utilizadas  en  los  dis- 
tintos  dominios  definidos  en  una  evaluation,  provincia,  region,  comunidad  autono- 
ma, no  vienen  determinadas  por  el  tamano  relativo  de  la  poblacion  de  cada  una  de 
ellos,  sino  por  el  error  muestral  maximo  que  se  este  dispuesto  a asumir  en  cada  una 
de  ellos. 

Por  distintos  motivos,  especialmente  cuando  los  dominios  definidos  coinciden  con 
unidades  politico-administrativas  distintas,  suele  ocurrir  que  se  definen  distintos  mar- 
genes  de  error  para  cada  uno.  Esto  depende  del  tipo  de  information  en  que  la  burocra- 
cia  de  cada  una  de  estas  unidades  tiene  mayor  interes,  del  presupuesto  disponible  y de 
la  influencia  que  pueda  tener  sobre  el  organo  que  gobierna  la  planificacion  y realiza- 
tion de  la  evaluation. 

Para  la  determination  del  tamano  muestral  es  necesario  no  solo  el  error  muestral 
maximo,  sino  tambien  el  valor  de  la  correlation  intra-clase.  La  estimation  de  los  valo- 
res  de  este  parametro  pueden  obtenerse,  bien  por  referencias  previas,  o bien  por  la 
aplicacion  de  una  prueba  piloto.  A modo  de  ejemplo,  en  la  evaluation  de  la  secundaria 
realizada  por  el  INCE  en  1997,  la  aplicacion  de  la  prueba  piloto  permitio  obtener  una 
estimation  de  los  valores  de  la  correlation  intra-clase  para  los  grupos  de  14  y de  16 
anos,  siendo  esos  valores  de  0,13  y 0,22  respectivamente. 

La  practica  habitual  consiste  en  fijar  un  determinado  nivel  de  confianza,  y realizar 
una  primera  estimation  del  muestreo  que  seria  necesario  en  caso  de  Muestreo  Aleato- 
rio  Simple  (M.A.S.).  A continuation  se  calcula  la  correction  necesaria  por  el  efecto 
diseno  debido  al  Muestreo  Aleatorio  por  Conglomerados,  segun  se  explica  en  el  apar- 
tado  siguiente. 

8.  PROCEDIMIENTO  DE  MUESTREO 

El  procedimiento  de  selection  de  la  muestra  se  basa  en  el  supuesto  de  equiprobabi- 
lidad  de  selection  de  todos  los  sujetos.  Si  no  atendiesemos  a la  estructura  natural  de 
los  datos,  es  decir,  agrupados  en  aulas,  a su  vez  agrupadas  en  colegios,  determinaria- 
mos  el  maximo  error  muestral  que  estarfamos  dispuestos  a admitir  para  cierto  nivel  de 
confianza,  y a partir  de  estos  parametros  calcularfamos  el  tamano  de  la  muestra 
mediante  la  expresion 


donde  N es  el  tamano  de  la  poblacion  de  referencia,  k es  la  puntuacion  tipica  corres- 
pondiente  al  nivel  de  confianza  seleccionado,  y e es  el  error  muestral  expresado  en 
desviaciones  tipicas.  Esta  expresion  contiene  ya  la  correction  por  poblaciones  finitas. 
Esta  formula  es  de  aplicacion  para  cada  uno  de  los  dominios. 
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La  muestra  total  sera  la  agregacion  de  las  muestras  de  todos  los  dominios. 

Dado  que  es  de  interes  proporcionar  informacion  acerca  de  algunos  estratos  de  la 
poblacion,  se  dividira  a esta  en  varios  estratos.  Es  el  caso  por  ejemplo  de  las  provin- 
cias,  de  lineas  curriculares,  de  la  titularidad  de  los  centros,  o cualesquiera  otros.  Por 
tanto,  para  proporcionar  datos  acerca  de  cada  uno  de  los  estratos,  el  numero  de  sujetos 
que  se  determina  para  un  dominio  se  reparte  proporcionalmente  entre  los  distintos 
estratos  en  que  se  divide  su  poblacion,  de  manera  proporcional  al  tamano  de  estos. 

Pero  los  sujetos  estan  agrupados,  dentro  de  cada  estrato,  en  conglomerados,  consti- 
tuidos  por  las  aulas,  y estas  aglomeradas  en  colegios. 

Por  esta  razon  cuando  los  sujetos  forman  conglomerados,  el  tamano  de  la  muestra 
en  comparacion  con  el  muestreo  aleatorio  simple,  debe  aumentar  en  funcion  del  tama- 
no del  conglomerado  y de  la  autocorrelacion.  A ese  incremento  en  el  tamano  se  le 
llama  efecto  diseno,  y para  el  caso  que  nos  ocupa,  viene  dado  por  F=l+(B-l)p,  donde  B 
es  el  tamano  del  conglomerado,  y p es  la  autocorrelacion. 

Por  tanto  el  tamano  muestral  definitivo  sera  n'=Fn.  Como  los  sujetos  estan  agrupa- 
dos de  B en  B,  se  seleccionaran  por  tanto  n’/B  aulas  distintas. 

Para  ilustrar  este  punto  tomaremos  un  caso  de  la  mencionada  evaluacion  de  la 
secundaria  (INCE  1998).  Para  la  comunidad  autonoma  de  La  Rioja  los  calculos  serian 
los  siguientes.  En  el  grupo  de  14  anos  hay  3.541  alumnos  en  la  poblacion.  Si  queremos 
que  el  nivel  de  confianza  sea  del  95,5%,  y el  error  muestral  maximo  sea  de  0,12  sigmas, 
obtenemos  un  tamano  para  muestreo  aleatorio  simple  de  257,57  alumnos.  Como  el 
valor  estimado  de  rho  para  los  14  anos  era  de  0,13,  el  efecto  diseno  era  igual  a 4,12.  Por 
tanto  en  un  muestreo  por  conglomerados  le  corresponderia  un  tamano  de  muestra  de 
1.061  alumnos. 

Si  comparamos  ese  resultado  con  el  tamano  de  muestra  que  corresponderia  a una 
comunidad  proporcionalmente  mucho  mas  grande  como  Cataluna,  podemos  compro- 
bar  lo  poco  que  el  tamano  de  la  poblacion  afecta  al  tamano  de  la  muestra.  Asi,  mante- 
niendo  los  demas  parametros  iguales,  es  decir,  el  nivel  de  confianza  y el  error  muestral 
maximo,  dado  que  Cataluna  tiene  73.293  alumnos  de  14  anos,  en  un  muestreo  aleato- 
rio simple  le  corresponderia  un  total  de  267,72  alumnos  (vease  la  poca  diferencia  con 
los  257,57  que  correspondian  a La  Rioja).  Aplicando  la  correccion  del  efecto  diseno, 
con  el  mismo  rho,  tenemos  que  en  el  muestreo  por  conglomerados  le  corresponderia 
un  total  de  1.103  alumnos  de  14  anos.  (En  la  realidad  la  comunidad  autonoma  de  Cata- 
luna decidio  extraer  la  muestra  de  14  y la  de  16  anos  con  menor  error  que  otras  comu- 
nidades  autonomas,  lo  que  explica  el  mayor  tamano  de  su  muestra  de  14  anos.  Lo 
mismo  se  aplica  a la  muestra  de  16  anos). 

Un  caso  muy  habitual  en  la  evaluacion  de  resultados  educativos  es  el  muestreo  en 
dos  etapas.  En  primer  lugar  se  seleccionan  n'/B  centros,  con  probabilidad  proporcional 
a su  tamano.  Y dentro  de  cada  centro,  se  selecciona  en  la  siguiente  etapa  un  aula  com- 
pleta  con  probabilidad  tambien  proporcional  a su  tamano. 

Este  procedimiento  debe  repetirse  para  cada  poblacion  objetivo  distinta.  No  impor- 
ta  que  dos  poblaciones  objetivo  esten  localizadas  en  las  mismas  unidades  primarias  de 
muestreo,  en  nuestro  caso  colegios.  Se  trata  de  mantener  el  supuesto  de  equiprobabili- 
dad.  Si  la  seleccion  de  un  centro  se  hace  con  probabilidad  proporcional  al  numero  de 
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sujetos  de  14  anos  que  tiene,  si  seleccionasemos  tambien  a otra  muestra  de  sujetos  de 
16  anos  ocurrirfa  que  en  esta  poblacion  no  todos  los  sujetos  tendrfan  la  misma  proba- 
bilidad  de  ser  incluidos  en  la  muestra.  El  procedimiento  de  muestreo  debe  por  tanto 
repetirse  para  cada  poblacion  objetivo  distinta. 

Con  relation  a la  muestra  global  para  toda  la  poblacion  evaluada,  se  constituye  por 
la  agregacion  de  las  muestras  de  los  dominios.  Esta  forma  de  muestreo  implica 
un  muestreo  no  proporcional,  ya  que  el  numero  de  sujetos  de  cada  dominio  puede  no 
ser  proporcional  a Nh/N.  Esto  lleva  de  forma  inmediata  a la  necesidad  de  calcular  la 
media  global  con  ciertos  coeficientes  de  ponderacion,  que  hacen  que  cada  dominio 
este  representado  en  la  media  total  de  forma  proporcional  a su  tamano  relativo  de  la 
poblacion. 

Las  pequenas  diferencias  entre  las  muestras  planificadas  y las  muestras  obtenidas 
dentro  de  los  subestratos  de  cada  dominio  tambien  aconsejan  utilizar  ciertas  pondera- 
ciones  para  lograr  que  en  la  media  de  cada  dominio  esten  respresentadas  proporcio- 
nalmente  las  poblaciones  de  cada  subestrato. 

Para  mas  information  puede  consultarse  Blalock  (1972)  y Kalton  (1983). 

9.  DETERMINACION  DE  LAS  PONDERACIONES 

Como  consecuencia  del  muestreo  por  dominios,  aquellos  que  son  mas  pequenos 
quedan  sobrerepresentados,  mientras  que  los  mas  grandes  quedan  subrepresentados. 

Para  corregir  ese  efecto  es  preciso  que  a cada  dominio  se  le  asigne  un  peso  de  forma 
que  su  muestra  tenga  la  importancia  que  le  corresponde  en  el  total.  Para  que  las  esti- 
maciones  sean  correctas  ese  peso  tiene  que  ser  tal  que  su  media  total  sea  igual  a 1. 

Hay  otra  fuente  de  desviaciones  que  hacen  necesario  el  uso  de  otras  ponderacio- 
nes.  Entre  la  muestra  planificada  y la  muestra  prevista  existen  ciertas  discrepancias 
producidas  por  las  contingencias  propias  del  proceso  de  toma  de  datos.  Recordemos 
que  se  trata  de  un  muestreo  por  conglomerados.  Solo  aproximadamente  puede  antici- 
parse  el  numero  de  sujetos  en  cada  conglomerado.  Dentro  de  cada  dominio,  se  definen 
cuales  son  los  estratos  de  interes.  Dado  que  en  ultima  instancia  el  tamano  final  de  la 
muestra  depende  de  los  verdaderos  tamanos  de  los  conglomerados,  se  dan  ciertas 
pequenas  discrepancias  entre  el  tamano  planificado  y el  tamano  obtenido.  Como  con- 
secuencia los  elementos  de  cada  estrato,  dentro  de  un  mismo  dominio,  deben  ser  tam- 
bien ponderados  para  que  ninguno  de  ellos  tenga  un  mayor  peso  que  aquel  que  le 
corresponde.  Estos  pesos  intradominios,  que  deben  ser  utilizados  siempre  que  se  reali- 
cen  comparaciones  entre  distintos  estratos  de  un  mismo  dominio,  deben  cumplir  tam- 
bien la  condition  senalada  anteriormente,  por  la  cual  la  media  de  estos  pesos  debe  ser 
igual  a uno. 

Ciertamente  cuando  se  realizan  las  estimaciones  de  las  medias  globales,  debe 
tenerse  en  cuenta  tanto  las  correcciones  debidas  a las  desviaciones  de  los  estratos  den- 
tro de  cada  dominio,  como  las  ponderaciones  atribuibles  a cada  dominio  respecto  del 
conjunto. 

En  general,  para  calcular  el  peso  que  corresponde  a un  cierto  estrato  i,  procedere- 
mos  de  la  siguiente  manera. 
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Si  llamamos 

a i =tamano  del  estrato  i en  la  muestra 
A,  =tamano  del  estrato  i en  la  poblacion. 
n =tamano  de  toda  la  muestra 
N=  tamano  de  la  poblacion. 

Entonces  en  un  dominio  con  k estratos,  la  media  total  del  dominio  es 
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Luego, 


Aqui  la  media  se  obtiene  como  la  suma  ponderada  de  todas  las  puntuaciones.  Pero, 
nos  conviene  un  peso  para  cada  puntuacion,  de  forma  que  la  media,  no  la  suma,  de 
todas  las  puntuaciones  nos  permita  obtener  la  media  total.  Asi  que  para  dividir  por  n 
todo,  tenemos  que  multiplicar  por  n el  peso  tambien. 

De  esta  forma  obtenemos  un  peso  tal  que  multiplicando  el  cociente  del  tamano  del 
estrato  en  la  muestra  respecto  a la  muestra,  este  es  proporcional  al  mismo  cociente  en 
la  poblacion. 
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Estos  pesos  tienen  la  propiedad  de  que  su  media  es  1.  Si  las  ponderaciones  no  tie- 
nen  como  media  1,  entonces  los  niveles  de  significacion  de  que  informan  los  procedi- 
mientos  estadisticos  no  son  validos. 

10.  LA  PONDERACIONY  LA  MEDIA  DE  LOS  ESTRATOS 


Cuando  se  calculan  las  medias  de  los  estratos  individualmente  utilizando  los 
pesos,  las  medias  de  los  estratos  no  varian. 
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En  cuanto  a la  media  total  usando  los  pesos, 
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II.  EFECTO  DE  LA  PONDERACION  SOBRE  LA VARIANZA 

En  los  procedimientos  estadisticos  utilizados  habitualmente  la  variable  de  ponde- 
racion se  utiliza  para  «replicar»  los  casos.  De  esta  manera  tenemos  para  un  estrato. 
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Esta  es  la  estimation  de  la  varianza  dentro  del  subestrato  i.  Asi  cuando  p*  >1,  la 
varianza  de  las  puntuaciones  ponderadas  es  inferior  a la  varianza  de  las  puntuaciones 
sin  ponderar.  Sin  embargo  esa  diferencia  es  muy  pequena  cuando  los  valores  de  la 
ponderacion  son  los  que  proceden  de  los  pequenos  errores  de  muestreo  en  los  subes- 
tratos. 

1 2.  ALGUNOS  CASOS  ESPECIALES 

Por  ultimo  nos  vamos  a referir  a algunos  casos  especiales  que  surgen  en  la  evalua- 
tion. Un  problema  muy  interesante  en  el  muestreo  aparece  cuando  tratamos  de  eva- 
luar  sujetos  que  pertenecen  a un  grupo  muy  minoritario,  como  por  ejemplo  aquellos 
que  fueron  definidos  como  parte  de  la  poblacion  excluida.  En  ocasiones  es  dificil 
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determinar  cuantos  son  los  sujetos  que  estan  en  esas  condiciones  en  la  poblacion  de 
referenda.  Es  el  mismo  caso  cuando  tratamos  de  determinar  por  ejemplo  cual  es,  en 
una  poblacion,  la  proporcion  de  sujetos  que  presentan  algunas  caracteristicas  especia- 
les,  tales  como  una  alta  capacidad  matematica,  o especial  habilidad  para  la  musica,  o 
tienen  problemas  de  aprendizaje,  etc. 

La  determinacion  de  la  proporcion  en  la  poblacion,  es  decir,  el  parametro  n por  los 
medios  tradicionales  puede  ser  muy  costoso  en  terminos  de  tamanos  de  la  muestra  o 
de  error  de  estimacion.  El  tamano  de  la  muestra  viene  dado  por 


como  puede  verse  el  tamano  de  la  muestra  depende  radicalmente  del  inverso  de  la 
precision  que  deseamos  obtener.  Si  queremos  tener  una  precision  de  1 por  mil  al  95% 
de  confianza,  el  tamano  de  la  muestra  sera  4000000  de  veces  la  varianza  de  p.  Para  un 
fenomeno  que  ocurra  alrededor  de  5 casos  cada  mil  sujetos  de  la  poblacion,  la  muestra 
necesaria  para  estimar  ese  parametro  es  de  cerca  de  20.000  sujetos.  Esto  hace  inviable 
la  mayorfa  de  estudios  de  este  tipo. 

Existen  sin  embargo  alternativas  muy  interesantes.  Por  ejemplo  los  procedimientos 
de  captura-recaptura,  muestreo  inverso  para  proporciones,  muestreo  de  redes.  Men- 
cionaremos  el  segundo,  por  ser  el  mas  adecuado  al  tema  tratado.  Los  otros  dos  pueden 
consultarse  en  Som  (1996). 

En  el  muestreo  inverso  se  procede  a seleccionar  sujetos  para  la  muestra  hasta  que 
se  obtiene  un  numero  n ' determinado  de  casos  buscados.  Si  n es  el  tamano  final  de  la 
muestra,  la  estimacion  del  parametro  buscado  es 


P = 


ri-\ 


n — 1 


la  varianza  del  estimador  viene  dada  por 
tamano  de  la  poblacion. 


*2- 


P(  1 - P)  _n 


1 


) 


n-2  N 

Existen  estimadores  tambien  para  variables  continuas  en  los  mismos 


, siendo  N el 
casos. 
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LA  EVALUACION  Y MEJORA  DE  LA  ENSENANZA  EN 
LA  UNIVERSIDAD:  OTRA  PERSPECTIVA 

Tomas  Escudero  Escorza 
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RESUMEN 

Tomando  la  perspectiva  del  responsable  de  la  gestion  academica  universitaria,  se  analizan 
las  caracteristicas  de  la  evaluacion  de  la  ensenanza  en  la  universidad  y los  dmbitos  preferentes 
de  actuacion  para  mejorarla.  La  ubicacion  de  los  estudiantes,  laformacion  y la  calidad  del  profe- 
sorado,  los  disehos  curriculares  y la  metodologia  diddctica  y sus  recursos  son  analizados  de 
manera  expresa,  destacando  ciertos  elementos  y ofreciendo  algunas  sugerencias  para  mejorar 
nuestra  ensenanza  universitaria. 

ABSTRACT 

Taking  the  perspective  of  people  in  charge  of  academic  affairs,  characteristics  of  teaching 
evaluation  at  the  university  are  analyzed  and  considerad  sume  important  spaces  for  improve- 
ment. Student  selection  of  degrees,  training  and  quality  of  teachers,  curricula  designs  and  tea- 
ching methodology  and  resources  are  taken  as  main  elements  for  improvement  after  evaluation 
of  teaching  in  our  universities. 


Partiripar  en  un  numero  monografico  como  el  presente,  en  union  de  tantas  plumas 
cualificadas  es,  sin  duda,  un  honor,  pero  tiene  el  riesgo  de  que  las  reflexiones  que  se 
ofrezcan  sean  reiterativas  y reproduzcan  algo  ya  aportado  por  otros  colegas. 

Para  minimizar  el  riesgo  apuntado,  y toda  vez  que  somos  varios  los  autores  que 
incidimos  en  el  tema  de  la  evaluacion  de  la  calidad  de  la  ensenanza  universitaria,  en 
este  articulo  pretendo  ofrecer  la  vision  del  responsable  universitario  y,  mas  en  concre- 
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to,  la  vision  desde  la  que  se  ve  obligado  a trabajar  alguien  que,  como  es  mi  caso,  ha 
tenido  la  suerte  y la  satisfaction  de  ser  Vicerrector  de  Evaluacion  y Mejora  de  la  Ense- 
nanza, durante  los  ultimos  cuatro  anos,  en  una  importante  Universidad  espanola 
como  lo  es  la  de  Zaragoza. 

Como  es  logico,  la  perspectiva  que  ofrezco  nunca  puede  ser  considerada  la  de  un 
gestor  universitario  en  sentido  convencional,  pues  resulta  imposible  desligarla  de  mi 
condition  de  profesor  y de  estudioso  del  tema  sobre  el  que  estamos  reflexionando.  Sin 
embargo,  si  que  intento  enfatizar  aquello  mas  especifico  de  las  preocupaciones  concre- 
tas  de  un  responsable  institucional  que  tiene  la  obligation  de  tomar  y promover 
decisiones  encaminadas  a mejorar  la  ensenanza  de  su  universidad.  Con  este  plantea- 
miento,  espero  y deseo  que  mi  aportacion  complemente  y enriquezca  otras  que  apare- 
cen  en  este  numero  monografico  de  RIE,  desde  diferentes  perspectivas  academicas  y 
personales. 

Este  punto  de  partida  y la  propia  limitation  de  espacio  que  se  me  sugiere,  me  obli- 
ga  a no  entrar  en  analisis  de  tipo  general  sobre  modelizacion  y procedimientos  de  eva- 
luacion de  los  programas  y de  la  ensenanza  universitaria,  por  lo  que  me  centrare  en  el 
analisis  de  ciertos  aspectos  que,  entiendo,  son  cruciales  para  valorar  y mejorar  la  ense- 
nanza de  nuestras  universidades. 

I.  EL  OBJETIVO  DE  LA  EVALUACION 

Los  profesionales  de  la  evaluacion  estamos  continuamente  repitiendo  que  esta  no 
es  un  fin  en  si  misma,  que  es  un  escalon,  una  plataforma  intermedia,  que  facilita  y 
perfecciona  las  decisiones  y acciones  de  planificacion,  gestion,  desarrollo  y mejora. 
Sin  embargo,  uno  tiene  la  impresion  de  que  dicho  mensaje  no  acaba  de  calar  sufi- 
cientemente  entre  los  implicados  y afectados  por  la  evaluacion.  Desgraciadamente, 
hoy  hacemos  mucha  evaluacion  que  parece  cerrarse  en  si  misma,  que  temporalmen- 
te  produce  cierto  impacto  informativo  en  unas  u otras  audiencias,  pero  que  no  tiene 
consecuencias  palpables  sobre  la  calidad  de  nuestra  ensenanza.  A pesar  de  tanta 
reflexion  teorica  al  respecto,  paradojicamente,  en  el  terreno  de  la  practica,  evalua- 
cion, calidad  y mejora  no  suelen  hacerse  a menudo  confluir,  como  seria  su  obliga- 
cion. 

Es  muy  cierto  que  de  esta  paradoja  no  suelen  ser  responsables  principals  los  eva- 
luadores,  sino  los  que  tienen  la  capacidad  de  decision  academica,  gestora,  legislativa  o 
presupuestaria,  pero  no  es  menos  cierto  que  se  adolece  de  cierta  tibieza  en  la  defensa 
de  este  principio  basico.  Y en  esto  hay  que  ser  radical.  O la  evaluacion  es  util  o no  tiene 
sentido  realizarla;  tiene  que  ser  un  instrument  para  la  accion  y no  un  mero  mecanis- 
mo  de  justification  o para  tranquilizar  conciencias.  Los  evaluadores  debemos  ser  beli- 
gerantes  en  este  sentido. 

Lo  dicho  nos  obliga  a pensar  que  el  diagnostico  riguroso  y sensato  de  la  realidad  no 
es  el  final  de  nuestra  accion  evaluadora,  tenemos  que  ofrecer,  ademas,  sugerencias 
alternativas  de  accion,  con  sus  posibles  riesgos,  con  sus  posibles  ventajas.  En  definiti- 
va,  estamos  obligados  a defender  el  estatus  cientffico  y el  marco  investigador  propio 
del  evaluador  institucional  (Fishman  1988  y 1991;  Escudero,  2000). 
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2.  A VUELTAS  CON  LA  CALI  DAD  DE  LA  ENSENANZA  Y SUS  POSIBLES 

INDICADORES 

Sin  entrar  en  profundidad  en  el  siempre  interesante  debate  sobre  el  concepto  de 
calidad  de  la  ensenanza,  si  que  es  importante  senalar  algunos  elementos  de  referencia 
basicos  de  dicha  calidad  que,  en  definitiva,  van  a ser  el  objeto  central  de  nuestra  eva- 
luation. 

Los  responsables  universitarios  y la  sociedad  en  general  tienen  muy  claro  que  el 
indicador  directo  de  la  calidad  de  la  ensenanza  son  sus  resultados,  esto  es,  el  nivel  formati- 
vo  alcanzado  por  los  estudiantes.  Pero  esta  idea  generalizada,  que  ademas  es  correcta 
en  su  base,  tenemos  la  obligation  de  matizarla  y contextualizarla  convenientemente, 
para  que  sea  interpretada  de  manera  cabal  y rigurosa. 

A1  margen  de  las  graves  dificultades  para  contar  con  escalas  estandarizadas  de 
medicion  de  los  niveles  formativos  alcanzados  por  los  estudiantes  en  distintas 
Carreras,  cursos,  especialidades,  disciplinas,...,  que  deberiamos  utilizar  como  ins- 
trumentos  para  la  homologation  y comparacion,  los  resultados  directos  que  pode- 
mos  obtener  expresan  la  calidad  de  los  estudiantes  y,  en  su  caso,  de  los  titulados  y no 
la  de  la  ensenanza,  pues  tales  resultados  estan  condicionados  por  las  capacidades, 
el  interes  y el  esfuerzo  de  los  alumnos.  Por  desgracia,  en  el  mejor  de  los  casos,  lo 
que  podemos  medir  es  la  interaction  entre  la  calidad  de  la  ensenanza  y la  de  los 
alumnos. 

Por  confundir  los  dos  conceptos  anteriores,  calidad  de  ensenanza  y de  estudiantes, 
no  son  pocos  los  ciudadanos,  e incluso  academicos  y responsables  academicos,  que 
asimilan  incorrectamente  la  selectividad  universitaria  con  calidad  de  la  docencia.  La 
selectividad  es,  sin  duda,  un  elemento  facilitador  de  la  docencia  universitaria,  pero  en 
ningun  caso  un  indicador  de  su  calidad.  Lo  que  si  puede  ser  es  un  factor  determinante 
en  la  calidad  de  los  estudiantes.  Lamentablemente,  al  cobijo  de  esta  confusion  de 
ideas,  algunas  instituciones  han  construido  una  buena  imagen  social  de  calidad 
docente  con  practicas  pedagogicas  criticables  y programas  academicos  mediocres, 
fomentando  el  rigor  academico  y social  en  la  selection  de  sus  estudiantes. 

Para  complicar  todavia  un  poco  mas  el  panorama  que  se  obseva  y desde  el  que  se 
actua,  aparecen  las  calificaciones  escolares  como  instumento  sobre  el  que  se  constru- 
yen  los  populares  conceptos  de  exito  o fracaso  escolar.  Estas  calificaciones,  como  medi- 
da  de  los  resultados  de  la  ensenanza,  no  solo  estan  sujetas  a todos  los  condicionantes 
planteados  anteriormente,  sino  que,  ademas,  no  son  un  indicador  homogeneo,  pues 
dependen  del  criterio  y rigor  del  profesor  a la  hora  de  disenar  la  ensenanza  y valorar 
el  rendimiento  de  los  estudiantes.  En  tal  sentido,  las  calificaciones  escolares  son  un 
indicador  muy  debil  de  la  calidad  de  nuestra  ensenanza,  por  lo  que  siempre  deben  ser 
complementadas  con  otro  tipo  de  indicadores  y criterios  (De  Miguel,  1999;  Ferrandez 
y otros,  1999). 

El  interes  de  las  calificaciones  escolares,  desde  la  perspectiva  de  la  evaluation,  esta 
en  que  si  son  un  buen  indicador  de  la  coherencia  interna  y de  la  eficiencia  institucional  en 
el  ambito  docente,  ademas  de  un  elemento  de  diagnostico  imprescindible  para  tratar 
con  las  bolsas  de  fracaso  escolar.  Por  anadidura,  no  podemos  olvidar  que  se  trata  de 
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un  elemento  clave  a la  hora  de  construir  la  imagen  social  de  una  institucion  de  educa- 
tion superior. 

Por  lo  dicho  hasta  aquf,  entiendo  que  las  calificacion.es  escolares,  con  sus  pros  y sus 
contras  y siempre  que  se  contextualicen  debidamente,  son  un  elemento  de  analisis 
importante  para  el  diagnostico  de  la  calidad  intitucional  y para  ubicar  el  fracaso  esco- 
lar  (Escudero,  1999).  No  podemos  olvidar  que  uno  de  nuestros  grandes  retos  es  el  de 
atajar  el  elevado  fracaso  escolar  que  se  produce  en  algunos  cursos  de  alguna  de  nues- 
tras  titulaciones.  Para  ello  debemos  ubicarlo  con  precision,  pues  el  panoramay  la  etio- 
logfa  son  muy  diversos.  No  nos  basta  con  detectar  una  elevada  tasa  de  fracaso  en  tal  o 
cual  titulacion,  en  tal  o cual  curso,  pues  sabemos  muy  bien  (Escudero  y otros,  1999), 
que  el  bloqueo  puede  limitarse  a una  o dos  asignaturas  y no  al  resto  de  la  titulacion.  El 
evaluador  esta  obligado  a indicar  el  espacio  preciso  en  el  que  se  debe  intervenir. 

Pero  incluso  trabajando  a un  nivel  suficientemente  desagregado  de  la  information, 
que  nos  permita  diagnostigar  con  mucha  precision  el  lugar  del  fracaso,  al  analizar  los 
resultados  de  la  ensenanza,  las  soluciones  y pautas  de  intervention  vamos  a tener  que 
buscarlas  a traves  de  indicadores  indirectos  de  la  calidad  de  la  ensenanza,  relacionados  con 
las  entradas  y el  proceso  docente  (Segers  y Dochy,  1996).  En  los  siguientes  apartados  cen- 
tramos  la  reflexion  en  algunos  de  los  mas  crfticos  indicadores  indirectos  de  la  calidad. 

En  paralelo  con  los  indicadores  anteriores,  las  instituciones  de  education  superior 
utilizan  de  manera  generalizada  indicadores  de  impacto  o niveles  de  satisfaction  de  los 
afectados  por  la  ensenanza,  como  indicadores  de  calidad  de  la  misma.  La  experiencia 
al  respecto  me  dice  que  este  tipo  de  evaluacion  es  muy  importante,  pero  que,  en  la 
practica,  es  sistematicamente  infrautilizada  como  instrumento  de  mejora  de  la  ense- 
nanza, bien  porque  se  trabaja  con  niveles  de  agregacion  de  opiniones  demasiado  glo- 
bales,  bien  porque  no  se  analizan,  o no  se  tienen  en  cuenta  los  resultados  y lo  que 
sugieren  (Escudero  y otros,  1997  y 2000;  Escudero,  1999a).  La  opinion  de  los  estudian- 
tes  y de  los  profesores,  sin  duda,  es  uno  de  los  principals  caminos  que  tenemos  los 
evaluadores  y,  consiguientemente,  las  universidades  para  encontrar  y disenar  acciones 
de  cambio,  de  innovation  y de  perfeccionamiento.  Tampoco  podemos  olvidar  que  en 
este  proceso,  resulta  critico  delimitar  bien  los  espacios  de  responsabilidad  pues,  como 
bien  sabemos,  las  universidades  son  organizaciones  de  organizaciones  poco  cohesio- 
nadas,  con  multiples  y diversos  centros  de  autonomia  y de  responsabilidad.  Los  eva- 
luadores tenemos  que  decirle  a la  institucion  donde  y en  que  sentido  tiene  que 
intervenir,  pero  tambien  quien  es  el  que  tiene  el  deber  y la  responsabilidad  de  actuar. 

3.  AMBITOS  DE  EVALUACION  PARA  LA  MEJORA 

Una  vez  contextualizados  el  problema  y el  marco  de  actuation,  es  el  momento  de 
plantearse  el  proceso  de  evaluacion  de  la  ensenanza  que,  desde  una  perspectiva  orto- 
doxa,  nos  llevaria  al  apoyo  en  enfoques  reconocidos  y clasicos  en  el  campo  de  la  eva- 
luacion de  programas  (Municio,  1992;  Perez  Juste,  1995;  Gredler,  1996).  Sin  embargo, 
de  acuerdo  con  la  perspectiva  desde  la  que  he  planteado  este  trabajo  y respetando  sus 
objetivos,  voy  a centrarme  en  la  evaluacion  de  aquellos  aspectos,  facetas  o ambitos  que 
se  sabe  que  inciden  de  manera  decisiva  en  la  calidad  de  la  ensenanza  universitaria  y 
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sobre  los  que  tienen  una  responsabilidad  directa  de  transformation  los  gestores  y res- 
ponsable  academicos  de  la  institution.  En  concreto,  quiero  destacar  cuatro  grandes 
ambitos  de  mejora  de  nuestra  ensenanza,  a los  que  resulta  obligado  dirigir  la  evalua- 
cion  y la  intervention  en  los  momentos  actuales  en  nuestras  universidades: 

a)  La  ubicacion  de  los  alumnos  en  los  distintos  estudios 

b)  La  formacion  y la  calidad  del  profesorado 

c)  Los  disenos  curriculares 

d)  La  docencia  propiamente  dicha,  su  metodologfa  y sus  recursos. 

3.1.  Ubicacion  de  los  alumnos 

Aunque  ya  he  senalado  el  peso  relativo  que  tiene  la  selection  de  los  alumnos  en  la 
determination  de  la  calidad  de  la  ensenanza,  es  cierto  que  una  buena  ubicacion  de  los 
mismos  en  los  diferentes  estudios  facilita  el  desarrollo  del  proceso  docente  y la  conse- 
cution de  mas  y mejores  logros  por  su  parte. 

Con  la  legislacion  actual,  el  margen  de  maniobra  de  las  universidades  en  este  terre- 
no  es  limitado,  centrandose  principalmente  en  el  establecimiento  de  los  limites  de 
acceso,  alii  donde  se  produzca  exceso  de  demanda.  Ahora  bien,  ^se  esta  haciendo  todo 
lo  posible  en  cuanto  a la  orientacion  en  la  election  de  estudios,  que  no  es  un  aspecto 
cerrado  por  la  legislacion? 

La  impresion  es  que  nuestras  universidades,  en  colaboracion  con  los  centros  de 
secundaria,  estan  dando  mucha  information,  quizas  excesiva,  sobre  el  acceso  a la  edu- 
cation superior,  pero  con  resultados  escasos  para  el  esfuerzo  aportado.  Es  necesario, 
por  tanto,  evaluar  estos  procesos,  detectar  los  puntos  de  ineficiencia  y sugerir  nuevas 
alternativas  en  este  terreno. 

La  orientacion  vocacional  y profesional,  aunque  se  ubica  de  manera  mas  directa  en 
los  centros  de  secundaria,  no  puede  estar  al  margen  de  las  preocupaciones  de  los  dife- 
rentes centros  universitarios,  que  deben  colaborar,  y proporcionar  todo  tipo  de  infor- 
macion, con  los  gabinetes  de  orientacion.  Las  universidades  tienen  que  establecer  unas 
redes  de  colaboracion  en  este  sentido  y evaluar  y mejorar  de  manera  sistematica  su 
funcionamiento. 

Otro  elemento  a considerar  por  los  evaluadores  es  el  de  los  criterios  para  el  estable- 
cimiento del  lfmite  de  plazas  en  las  diversas  titulaciones,  no  siempre  en  apoyo  de  una 
mejor  calidad  y organization  docente.  Con  frecuencia  aparecen  criterios  fruto  de  pre- 
siones  e intereses  espureos.  Aprovechando  el  descenso  en  la  demanda,  las  universida- 
des deben  evaluar  y revisar  los  viejos  criterios  de  establecimiento  de  limitation  de 
plazas  de  estudio,  ajustandolos  a razones  mejor  fundamentadas  desde  los  puntos  de 
vista  social  y academico. 

3.2.  Formacion  y calidad  del  profesorado 

Es  casi  una  obviedad  decir  que  un  elemento  clave  de  una  buena  docencia  es  el  pro- 
fesorado. Tener  buenos  profesores  no  es  condition  suficiente  para  tener  una  buena 
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docencia,  e incluso  una  buena  ensenanza,  pero  es  obligado.  Por  lo  tanto,  la  calidad  de 
los  profesores  debe  ser  preocupacion  permanente  de  la  evaluacion  institutional. 

Aunque  no  es  momento  de  profundizar  en  el  tema,  sabemos  que  no  es  facil  definir 
de  manera  concisa  que  es  un  buen  profesor;  hay  muchos  posibles  elementos  y aproxi- 
maciones.  Logicamente,  tampoco  resulta  facil  medirlo.  Sin  embargo,  si  que  tenemos 
claro  que  se  necesitan  cierta  caracteristicas  basicas  para  que  la  calidad  sea  posible. 
Desgraciadamente,  algunas  de  estas  cualidades  necesarias  no  son  faciles  de  proporcio- 
nar  o,  mas  propiamente,  facilmente  mejorables.  A veces  la  intervention  en  este  terreno 
tiene  necesariamente  unos  efectos  limitados  y,  en  ciertos  casos,  el  objetivo  no  podra  ser 
la  obtencion  de  buenos  profesores  en  sentido  estricto,  sino  el  de  evitar  malas  practicas 
docentes. 

Buena  parte  del  problema  se  centra  en  la  selection  del  profesorado,  donde  la  capaci- 
dad  de  incidencia  del  conjunto  de  una  universidad  es  mucha,  aunque  existan  condi- 
cionantes  y elementos  de  distorsion.  Personalmente,  tengo  pocas  dudas  de  que  si  la 
selection  del  profesorado  fuera  adecuada,  se  evitarian  buena  parte  de  los  problemas 
docentes  que  mas  tarde  aparecen.  La  experiencia  nos  dice  que  cuando  se  selecciona  a 
un  profesor  con  muchas  dudas  sobre  su  futura  conducta  docente,  es  alta  la  probabili- 
dad  de  que  luego  plantee  problemas  en  este  sentido. 

En  primer  lugar  hay  que  asegurar  que  los  profesores  tengan  una  solida  formation 
en  su  area  de  conocimiento,  mucho  mas  alia  de  la  especializacion  de  la  tesis  doctoral, 
con  capacidad  y solvencia  academica,  cuidando,  probablemente  mas  que  en  el  pasado 
cercano,  los  perfiles  docentes  en  las  convocatorias  de  plazas.  La  evaluacion  institutio- 
nal de  la  ensenanza  universitaria  no  puede  estar  al  margen  de  este  problema,  y tampo- 
co de  los  procesos  de  adaptation  y reconversion  de  profesorado,  como  obligado  vehiculo 
para  armonizar  los  potenciales  docentes  departamentales,  tras  necesarios  cambios 
estrategicos  en  las  ofertas  y demandas  de  las  universidades. 

En  materia  d e formation  pedagogica,  initial  y permanente,  del  profesorado  universi- 
tario  el  camino  por  recorrer  es  mucho,  pero  ya  se  tiene  un  bagaje  amplio  de  experien- 
ces positivas  en  los  ultimos  ahos.  Ahora,  la  evaluacion  no  solo  debe  plantearse  como 
vehiculo  para  detectar  y resolver  carencias  pedagogicas,  sino  tambien  para  revisar  cri- 
ticamente  las  actividades  de  formation  que  se  estan  llevando  a cabo  y promover  y des- 
arrollar  nuevas  formulas  que  mejoren  y complementen  las  actuales. 

La  experiencia  nos  dice  que  debemos  resolver  problemas  sobre  la  integration  de  la 
formation  pedagogica  en  el  curriculum  personal  y en  los  meritos  del  profesorado,  que 
es  necesario  experimentar  sobre  los  disenos  de  la  formation  en  todos  los  ambitos,  con- 
tenidos,  extension,  organization  modular,  temporalizacion. . .,  y que  es  fundamental 
potenciar  un  banco  suficiente,  en  cantidad  y variedad,  de  expertos  en  didactica  uni- 
versitaria. Valorar  las  deficiencias  y necesidades  en  este  sentido  es  otro  reto  de  la  eva- 
luacion institutional. 

3.3.  Planes  de  estudio  y disenos  curriculares 

Parece  evidente  para  todos  que  buena  parte  de  los  problemas  de  nuestra  ensenanza 
universitaria,  esperialmente  aquellos  sobre  los  que  los  academicos  tenemos  mas  capati- 
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dad  de  incidencia,  se  centran  en  el  terreno  curricular,  esto  es,  en  el  diseno  de  los  planes 
de  estudio,  de  sus  asignaturas,  de  la  jerarquizacion  y coordination  de  las  mismas,  de  los 
contenidos  y niveles,  etc.  y,  en  general,  en  todo  lo  relacionado  con  la  ordenation  docente. 

No  creo  equivocarme  al  senalar  que  la  evaluation  de  la  ensenanza  universitaria 
debe  indagar  con  mucha  atencion  si  los  planes  docentes  estan  sobrecargados  de  asig- 
naturas, si  estas  estan  sobrecargadas  de  contenidos  y si  estos  estan  planteados  a nive- 
les de  dificultad  razonables.  Ademas,  deben  analizarse  posibles  problemas  de 
coordination  entre  asignaturas,  de  jerarquizacion  de  conceptos  y de  contenidos  de 
dudosa  utilidad  tanto  academica  como  practica.  La  escasa  atencion  a los  problemas 
citados  es  causa  de  exigencias  disunites,  con  consecuencias  indeseables  en  el  terreno 
de  la  motivation. 

Para  atajar  anomalias  como  las  apuntadas,  los  responsables  academicos  tienen  al 
menos  tres  grandes  pianos  diferenciados,  aunque  no  del  todo  independientes,  de  eva- 
luation e intervention.  Estos  pianos  son: 

• El  diseno  de  asignaturas  del  plan  de  estudios 

• Los  contenidos  de  las  asignaturas 

• Los  niveles  de  dificultad  de  los  contenidos  tratados 

En  el  primer  piano,  en  el  de  las  asignaturas  del  plan  de  estudios,  existen  amplias  posi- 
bilidades  de  intervention  de  los  responsables  institucionales,  a traves  de  decisiones  de 
los  diferentes  organos  colegiados,  pudiendose  introducir  racionalidad  academica  y 
profesional,  criterios  a los  que  se  hace  referencia  de  manera  constante.  Sin  embargo,  a 
lo  largo  de  este  proceso  suelen  explotar  innumerables  contradicciones  y tensiones 
intemas,  frecuentemente  no  debidas  a razones  academicas  y pedagogicas,  sino  a inte- 
reses  particulares,  generalmente  relacionados  con  la  creation  de  necesidades  de  dota- 
tion de  nuevo  profesorado.  Sin  ningun  genero  de  dudas,  la  coherencia  y racionalidad 
academica  y formativa  de  los  planes  de  estudio  universitarios  debe  ser  uno  de  los 
objetos  prioritarios  de  la  evaluation  institutional  y algo  sobre  lo  que  las  comisiones 
docentes,  las  juntas  de  departamento,  de  centro  y de  gobierno  no  pueden  pasar  por 
encima  escudandose  en  el  objetivo  de  evitar  conflictos  y dificultades. 

En  un  informe  solicitado  al  Vicerrector  de  mi  Universidad  responsable  de  la  elabo- 
ration y reforma  de  los  planes  de  estudio  (Lopez,  2000),  se  ofrece  desde  dicha  pers- 
pectiva, una  revision  critica  del  conjunto  de  elementos  que  dificultan  o pueden 
dificultar  el  proceso  aludido  y que,  consecuentemente,  requieren  atencion  evaluado- 
ra.  La  clave  de  los  desajustes  se  ubica  entre  la  conception  flexible  de  las  directrices 
generales  y el  contexto  universitario  real  en  el  que  tienen  que  desarrollarse  y entron- 
carse  los  planes. 

Entre  los  elementos  de  desequilibrio  senalados  por  el  informe  se  pueden  citar:  a)  la 
diversidad  de  criterios  de  aplicacion  segun  titulaciones,  b)  las  disfunciones  en  cuanto 
a peso  de  troncalidad  de  las  diferentes  materias,  fruto  del  diferente  potencial  academi- 
co  de  las  areas,  mas  que  de  la  racionalidad  formativa,  c)  las  nuevas  dificultades  para  la 
gestion  academica,  disgregacion  de  grupos  de  estudiantes,  configuration  de  la  optati- 
vidad  y la  libre  election,  vinculation  de  areas  de  conocimiento,  etc.,  d)  compresion 
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excesiva  de  contenidos  al  aplicar  el  modelo  cuatrimestral,  e)  uso  arbitrario  de  los  pre- 
requisites de  acceso  a determinadas  asignaturas,  f)  dificultades  organizativas  del  prac- 
ticum,  con  creciente  necesidad  de  profesionales-tutores  que  demandan  compensation 
por  su  colaboracion,  g)  aumento  de  la  complejidad  organizativa  de  los  segundos  ciclos 
debido  a la  transversalidad  y a la  diversidad  de  opciones  de  origen  de  los  estudiantes, 
h)  falta  de  criterios  comunes  sobre  la  duration  de  las  titulaciones  e i)  carencia  y dificul- 
tad  de  establecer  mecanismos  precisos  de  adaptation  curricular  y de  convalidadion  de 
creditos. 

Problemas  como  los  apuntados,  que  vemos  son  motivo  de  gran  preocupacion  en  el 
momento  presente  para  nuestro  responsables  academicos,  deben  ser  obligatoriamente 
analizados  en  los  programas  de  evaluacion  curricular,  con  la  correspondiente  oferta  de 
posibles  soluciones  alternativas. 

En  cuanto  al  segundo  piano,  el  relativo  al  contenido  de  las  asignaturas,  las  responsa- 
bilidades  son  principalmente  departamentales  e interdepartamentales,  siendo  los  pro- 
blemas mas  de  sensatez  academica  y pedagogica,  que  de  defensa  laboral  o de 
influencia.  El  gran  reto  es  el  de  convencer  a los  profesores  que  en  los  programas  se 
debe  introducir  de  manera  preferente  lo  mas  formativo  y lo  mas  util,  y no  introducir 
nuevos  contenidos  sin  desarrollar  previamente  los  anteriores  de  manera  adecuada  y 
sin  lograr  los  objetivos  previstos. 

Ningun  evaluador  puede  olvidarse  de  que  la  linealidad  en  el  tratamiento  de  conteni- 
dos en  muchas  de  nuestra  asignaturas  es  un  problema  grave;  se  selecciona  poco  y se 
actua  como  si  toda  la  materia  fuera  igual  de  importante  y formativa.  Los  departamentos 
y los  grupos  docentes  deben  hacer  autocrftica  en  tal  sentido,  aligerando  los  programas 
de  contenidos  menos  importantes.  En  este  terreno,  los  profesores  noveles  deben  contar 
con  el  asesoramiento  departamental.  Tambien  debe  resaltar  la  evaluacion  la  dimension 
de  utilidad  de  los  programas  de  las  asignaturas,  pero  no  solo  reforzando  el  contenido 
practico  del  diserio  curricular,  sino  enfatizando  la  orientation  de  utilidad  en  la  selection 
y el  tratamiento  de  los  contenidos.  Lo  mismo  podriamos  decir  de  la  necesidad  de  coordi- 
nation intra  e interdepartamental  a la  hora  de  distribuir  los  contenidos  entre  asignaturas 
y mejorar  la  eficiencia  docente.  Se  trata,  por  ejemplo,  de  cuidar  las  jerarquias  conceptua- 
les  en  el  tratamiento  temporal  de  los  contenidos,  de  evitar  que  un  mismo  tema  se  trate 
innecesariamente  varias  veces  por  distintos  profesores  y,  tambien,  de  asegurar  que  no  se 
deje  de  tratar  algun  tema  importante  por  problemas  de  coordination. 

El  tercer  piano  de  evaluacion  en  el  ambito  curricular  es  el  relativo  a los  niveles  de 
tratamiento  y dificultad  de  los  contenidos  de  cada  asignatura  que,  en  buena  medida, 
quedan  cenidos  al  juicio  de  cada  profesor  y,  a lo  sumo,  a la  coordination  del  grupo  de 
profesores  de  la  materia.  En  este  piano  resulta  muy  diffcil  entrar  como  action  institu- 
tional, lo  que  es  un  problema  muy  grave,  sobre  todo  si  se  confirma  la  hipotesis  defen- 
dida  por  muchos  evaluadores,  de  que  este  aspecto  es  uno  de  los  mas  determinantes  en 
el  denominado  fracaso  escolar. 

La  reflexion  final  en  este  importante  ambito,  el  curricular,  es  que  la  diversidad  entre 
centros,  departamentos,  titulaciones,  profesores,  asignaturas,...es  enorme  y que  suele 
ser  no  solo  erroneo,  sino  muy  peligroso,  generalizar  los  hallazgos  de  evaluaciones  espe- 
cificas.  Hay  que  tratar  los  problemas  de  manera  diferenciada  segun  la  situation. 
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3.4.  La  docencia,  sus  recursos  y sus  metodos 

El  ultimo  eslabon  de  esta  cadena  de  ambitos  de  evaluacion  y mejora  de  nuestra 
ensenanza  universitaria  es  el  de  la  docencia  en  sentido  mas  estricto,  esto  es,  el  de  la 
interaccion  didactica  entre  alumnos  y profesores.  La  docencia  esta,muy  condicionada 
por  los  aspectos  curriculares  discutidos  anteriormente,  pero  siempre  queda  un  margen 
de  maniobra  estrictamente  didactico  que  tiene  que  ver  sobre  todo  con  los  enfoques 
metodologicos,  con  las  tecnicas  didacticas  y con  los  recursos  de  apoyo  empleados  en 
las  aulas.  En  definitiva,  estamos  hablando  de  la  actuacion  del  profesor  y del  contexto 
pedagogico  en  el  que  se  mueve. 

Desde  la  perspectiva  evaluadora  podemos  hablar,  al  menos,  de  dos  pianos  distin- 
tos  aunque  interconexos,  la  actuacion  didactica  de  los  profesores  y los  medios  y condicio- 
nes  que  facilitan  o dificultan  ciertas  conductas  pedagogicas.  Reflexionemos  sobre 
ambos  pianos. 

La  experiencia  en  tareas  de  formation  del  profesorado  nos  dice  que  el  cambio  de 
conducta  didactica  de  los  profesores  no  es,  precisamente,  empresa  facil,  pero  tambien 
nos  dice  que  es  un  arma  poderosa  para  la  mejora  de  la  ensenanza.  El  problema  no  esta 
tanto  en  los  cambios  en  la  preparation  didactica  del  profesorado,  pues  son  relativa- 
mente  sencillos,  sino  en  la  modificacion  de  su  capacidad,  de  su  concepcion,  de  su  acti- 
tud  y de  su  conducta  pedagogica,  algo  muchfsimo  mas  costoso. 

No  es  mi  intention,  ni  tampoco  tengo  espacio,  entrar  en  una  reflexion  profunda 
sobre  la  evaluacion  y mejora  del  profesorado  universitario,  pero  nos  conviene  recordar 
que  por  lo  dicho  anteriormente,  por  su  dificultad  y por  su  importancia,  estamos 
hablando  de  un  elemento  crftico  pues,  en  definitiva,  vemos  a los  sistemas  de  evalua- 
cion y compensation  de  los  profesores  como  palancas  de  cambio  (Malen,  1999).  Tam- 
poco podemos  soslayar  los  problemas  que  surgen  ante  la  gestion  de  incentivos  y 
penalizaciones  personales  como  una  de  las  potenciales  consecuencias  de  la  evaluacion 
(Escudero,  2000a). 

Sabemos  que  las  penalizaciones  personales  inciden  en  el  nivel  mas  elemental  de  la 
calidad  docente,  pudiendo  evitar  incumplimientos  laborales  y corregir  defectos  de 
funcionamiento  basico,  pero  no  son  un  instrumento  de  generacion  de  calidad  en  sen- 
tido proactivo.  Sobre  los  incentivos  personales  hemos  de  convenir  que  su  potencial 
de  mejora  teorico  no  siempre  se  hace  real,  pues  su  articulacion  practica  suele  ser  con- 
flictiva.  Uno  de  los  principales  dilemas  esta  en  saber  si  el  incentivo  verdaderamente 
estimula  al  que  lo  consigue  o,  mas  bien,  desestimula  todavfa  mas  al  que  no  lo  consi- 
gn. 

Las  encuestas  de  evaluacion  de  la  docencia  y de  los  profesores  que  utilizamos  en 
las  universidades  se  encuentran  inmersas  en  esta  situacion  conflictiva  (Escudero, 
1999a),  si  se  entienden  como  un  indicador  objetivo  para  la  penalizacion  mas  que  como 
un  instrumento  de  diagnostico  con  el  que  promover  cambios  y mejoras  docentes.  Para 
esta  segunda  tarea  las  encuestas  son  un  elemento  imprescindible,  pero  para  la  primera 
su  utilidad  es  muy  limitada  y,  en  todo  caso,  tendrfan  valor  complementario  de  otras 
necesarias  fuentes  de  information.  La  evaluacion  institucional  debe  atender  este 
importante  problema  y sugerir  reformas  de  estos  procesos,  pues  el  estado  actual  de 
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cosas,  ademas  de  ser  altamente  improductivo,  es  un  foco  de  desprestigio  de  la  propia 
evaluation  como  vehiculo  para  la  mejora  de  la  ensenanza. 

Los  recursos  docentes  tienen,  sin  duda,  un  tratamiento  evaluativo  mucho  menos 
complejo  que  el  del  profesorado  y bastante  sencillo  en  cuanto  a intervenciones  poste- 
riores.  Aqui  debemos  apoyarnos  en  los  clasicos  esquemas  de  la  evaluation  de  necesida- 
des,  pero  marcando  siempre  prioridades  entre  las  detectadas,  segun  niveles  y tipos 
(Witkin  y Altschud,  1995).  La  eficiencia  es  un  criterio  imprescindible  a cuidar  por  el 
evaluador  en  todo  plan  de  recursos  o equipamientos  docentes,  pues  no  es  verdadera 
necesidad  todo  lo  que  no  se  tiene  o es  deficiente,  ademas  debe  existir  la  perspectiva  de 
su  utilization  y esta  detection  no  siempre  es  sencilla. 

En  un  momento  de  efervescencia  de  la  utilization  de  tecnologias  de  la  information 
y la  comunicacion  en  las  aulas  universitarias,  con  mucha  innovation  metodologica  en 
marcha  y tambien  con  cierta  confusion  en  muchos  profesores  entre  calidad  docente  y 
nuevas  tecnologias,  los  expertos  en  evaluation  educativa  tienen  la  obligation  profesio- 
nal  de  introducir  elementos  de  racionalidad  en  esta  especie  de  carrera  desenfrenada, 
alertando  de  la  necesidad  de  que  se  cumplan  algunas  condiciones  que  van  mas  alia  de 
los  simples  cambios  tecnico-metodologicos. 

No  tengo  ninguna  duda  de  que  la  experimentation  y la  innovation  didacticas  son 
importantes  caminos  para  la  mejora  de  la  ensenanza,  pero  no  la  aseguran  por  si  solas. 
Deben  ir  acompanadas  de  efectos  positivos  en  los  resultados  academicos,  en  las  actitu- 
des  y conductas  de  los  estudiantes,  etc.  Por  ello,  la  innovation  debe  ser  evaluada,  con  pla- 
nes de  seguimiento  que  analicen  criticamente  sus  efectos.  Desgraciadamente,  esta 
evaluation  es  escasa  y tengo  la  impresion  fundada  de  que  muchas  de  las  innovaciones 
que  se  estan  introduciendo  son  didacticamente  muy  discutibles  o,  incluso,  contrapro- 
ducentes.  El  enorme  potential  que  tienen  las  denominadas  nuevas  tecnologias,  debe 
ser  aprovechado  de  manera  critica,  asegurando  siempre  su  eficiencia  pedagogica.  Por 
ello  es  imprecindible  la  evaluation. 

4.  UN  APUNTE,  PARA  FINALIZAR 

Estas  paginas  quieren  ofrecer  un  conjunto  de  reflexiones  sobre  los  ambitos  de  eva- 
luation y mejora  de  la  ensenanza  universitaria  actual  que,  a mi  entender,  son  de  obliga- 
da  preocupacion,  si  se  toma  la  perspectiva  del  responsable  academico  e institutional. 

Es  una  obviedad  senalar  que  nuestra  ensenanza  universitaria  esta  inmersa  en  un 
contexto  que  es  sugerente  por  la  aparicion  de  nuevos  enfoques  y recursos  metodologi- 
cos,  pero  que  tiene  muchos  elementos  de  ineficacia.  Los  retos  y los  problemas  plantea- 
dos  son  muchos  y variados  y las  respuestas  y soluciones  no  vienen  facilmente  a la  mano. 

Apoyado  en  la  experiencia  y en  la  literatura  profesional  se  me  fortalece  cada  vez 
mas  la  idea  de  que  son  muchos  y muy  variados  los  elementos  que  influyen  sobre  la 
ensenanza  en  general  y sobre  la  universitaria  en  particular  y que,  en  conjunto,  ningu- 
no  de  ellos  tiene  un  caracter  determinante;  son  muchas  las  aportaciones,  frecuente- 
mente  modestas,  las  que  construyen  una  ensenanza  universitaria  de  calidad. 

La  guinda  de  la  cuestion  es  el  amplio  abanico  de  situaciones  y problemas,  con  una 
etiologia  tan  di versa  entre  centros,  titulaciones,  departamentos,  cursos,  asignaturas, 
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profesores,  estudiantes,  etc.,  que,  aunque  existieran,  hacen  inutiles  los  tratamientos 
generales.  Ademas,  los  puntos  de  responsabilidad  y de  autonomia  son  tantos,  que 
resulta  impensable  una  aplicacion  en  bloque. 

Personalmente  creo  que  la  mejor  opcion  para  los  responsables  universitarios  y para 
los  profesionales  de  la  educacion  es  la  de  procurar  extender  cada  vez  mas,  dentro  de  la 
institucion  y en  todas  y cada  una  de  sus  unidades,  la  cultura  de  la  evaluacion,  de  la 
autocritica  y la  mejora  continua,  con  intervenciones  que  incidan  en  terrenos  como  los 
aqui  analizados.  El  estimulo  y los  medios  aportados  marcaran  el  avance. 
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RESUMEN 

En  este  trabajo  se  ofrecen  algunas  evidencias  de  las  aportaciones  cjue,  desde  una  perspectiva 
cualitativa,  se  pueden  ir  ofreciendo  a la  dif/cil  tarea  cfue  supone  la  evaluacion  de  la  docencia  en 
el  contexto  universitario.  Para  ello  se  recurve  a una  breve  presentacion  de  la  experiencia  llevada 
a cabo  durante  el  curso  97/98  en  la  Universidad  de  Cadiz,  con  el  objetivo  de  profundizar  en  las 
posibilidades  y limitaciones  de  las  tecnicas  cualitativas  para  abordar  la  evaluacion  de  la  activi- 
dad  docente  universitaria. 

SUMMARY 

In  this  paper  are  offered  some  evidences  about  contributions  that  a qualitative  perspective 
can  offer  to  the  dijfiult  task  of  teaching  evaluation  at  university  context.  This  paper  make  a 
■short  presentation  of  the  experience  carried  out  during  1997/1998  at  University  of  Cadiz  with 
the  objective  to  deep  on  possibilities  and  limitations  of  qualitative  tools,  in  order  to  evaluate  the 
university  teaching  activities. 


INTRODUCCION 

Plantear  la  evaluacion  de  la  actividad  docente  universitaria  significa  adentrarse  en 
un  contexto  tremendamente  complejo  y arduo  que  requiere  ser  afrontado  desde  una 
gran  multiplicidad  de  perspectivas.  En  ocasiones,  con  mas  frecuencia  de  la  debida,  se 
utilizan  los  terminos  evaluacion  de  la  ensenanza  o de  la  docencia  y evaluacion  del  pro- 
fesorado  como  sinonimos.  Un  ejemplo  de  ello  lo  constituye  el  trabajo  de  Mateo  (2000). 
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Este  hecho  puede  tener  cierta  justification  en  el  contexto  de  niveles  educativos  no  uni- 
versitarios,  donde  la  actividad  docente  cubre  la  mayor  parte  de  la  actividad  profesio- 
nal  del  profesorado.  Pero  en  un  contexto  universitario  las  tres  funciones  basicas 
asignadas  al  profesorado  (docencia,  investigation  y gestion  y extension  universitaria), 
hace  necesaria  que  estas  se  diferencien  claramente,  maxime  si  nos  situamos  desde  una 
perspectiva  evaluativa,  pues  previamente  ha  de  determinarse  de  forma  clara  y precisa 
el  objeto  de  evaluation. 

En  el  presente  trabajo  vamos  a centrar  nuestra  atencion  en  la  evaluacion  de  la  acti- 
vidad docente  del  profesorado  universitario,  hecho  este  que  ha  sido  objeto  de  trata- 
miento  en  numerosos  trabajos,  entre  los  que  quisieramos  destacar  en  este  momento  las 
aportaciones  de  Aylet  y Gregory  (1996),  De  Miguel  (1989,  1991,  1996,  1997  y 1998), 
Dunkin  (1995),  Zabalza  (1999)  o Zuniga  (1997),  entre  otras.  Mas  concretamente,  ofrece- 
remos  algunas  evidencias  de  las  aportaciones  que,  desde  una  perspectiva  cualitativa, 
se  pueden  ir  ofreciendo  a la  diffcil  tarea  que  supone  la  evaluacion  de  la  docencia  en  el 
contexto  de  nuestras  universidades.  Para  ello  recurriremos  a una  breve  presentation 
de  la  experiencia  llevada  a cabo  durante  el  curso  97  / 98  en  la  Universidad  de  Cadiz, 
con  el  objetivo  de  profundizar  en  las  posibilidades  y limitaciones  de  las  tecnicas  cuali- 
tativas  para  abordar  la  evaluacion  docente. 

LA  EVALUACION  DE  LA  ACTIVIDAD  DOCENTE  UNIVERSITARIA 

Sobre  la  base  del  Real  Decreto  1086/1989  de  28  de  agosto,  y la  Resolution  de  20  de 
junio  de  1990  (BOE  del  30  de  junio),  en  las  universidades  espanolas  se  comenzo  a 
desarrollar  un  modelo  de  evaluacion  que  «no  ha  tenido  ningun  tipo  de  consecuencias 
a efectos  de  la  continuidad  y promotion  del  profesorado»  (De  Miguel,  1998:  68),  lo  que 
ha  venido  a poner  en  duda  el  modelo  y,  como  consecuencia,  las  tecnicas  e instrumen- 
tos  que  se  vienen  utilizando. 

Desde  una  perspectiva  mas  comprensiva  de  la  realidad,  De  Miguel  (1998)  propone 
un  modelo  de  evaluacion  que  tiene  dos  caracterfsticas  fundamentales:  centrado  en  el 
profesor  y basado  en  la  recogida  de  evidencias  multiples. 

Desde  la  consideration  del  profesorado  universitario,  la  evaluacion  de  su  actividad 
docente  se  viene  considerando  como  algo  extemo  sin  implication  del  propio  profesor, 
trasladando  la  responsabilidad  de  su  realization  a agentes  extemos.  A esta  conception 
de  la  evaluacion  ha  colaborado  en  gran  medida  los  procedimientos  que  se  han  puesto  en 
practica,  los  cuales  se  han  basado  casi  exclusivamente  en  la  utilization  de  cuestionarios 
o escalas  que  son  cumplimentadas  por  parte  del  alumnado.  Asi  pues,  la  evaluacion  de 
una  actividad  tan  compleja  como  la  docencia  se  realiza  tomando  en  cuenta  una  unica 
fuente  de  information  (el  alumnado)  y una  unica  fuente  de  evidencias  (el  cuestionario). 

Si  partimos  de  la  base  de  considerar  la  evaluacion  de  la  docencia  universitaria 
como  un  medio  para  la  mejora,  es  el  propio  profesor  el  que  ha  de  preocuparse  por  asu- 
mir  la  responsabilidad  de  recoger  la  information  adecuada  para  reflexionar  sobre  su 
propia  actividad,  asi  como  para  dar  cuenta  de  la  misma. 

En  torno  a la  information  a recabar,  el  modelo  propuesto  por  De  Miguel  (ver  cua- 
dro  1)  considera  cuatro  dimensiones  basicas,  sobre  cada  una  de  las  cuales  el  profesora- 
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CUADRO 1 

MODELO  DE  ACTUAClON  DOCENTE  EN  EL  CONTEXTO INSTITUCIONAL 

(DE  MIGUEL , 1998:  79-80) 


1.  CONTEXTO  INSTITUCIONAL 


Caracterfsticas  y preocupacion  por 
la  docencia  en  el  centro  y/o  titulacion 

— tamano,  ratios  profesor / alumno  / grupos,  etc. 

— calificaciones  de  entrada,  servicios  de  ayuda  al  estudiante,  etc. 

— preocupacion  por  la  calidad  de  la  ensenanza,  estimulos  para 
la  docencia,  etc. 

2.  CONDI  CION  ANTES  INICIALES  DE  LA  ACTIVIDAD  DOCENTE 


Volumen  y rango  de  la  ensenanza 
impartida  (carga  docente) 

— cumplimiento  de  la  gestion  ordinaria 

— cantidad  del  teimpo  dedicado  a la  ensenanza 

— numero  y complejidad  de  las  materias  impartidas 

— numero  y diferencias  en  el  alumnado 

Actividades  de  formacion  y 
perfecrionamiento  docente 

— asistencia  a cursos,  congresos  y eventos  sobre  formacion  pedagogica 

— participacion  en  grupos  de  trabajo  y asociaciones  sobre  docencia 

— publicaciones  sobre  aspectos  relacionados  con  la  ensenanza 

Preparacion  de  las  clases — 

— claridad  y adecuacion  de  las  metas  y objetivos  de  cada  asignatura 

— actualizacion  de  los  contenidos 

— preparacion  de  materiales  y equipos 

Coordinacion  de  la  ensenanza  en  el 
ambito  institucional 

— actividades  de  coordinacion  de  la  docencia 

— responsabilidades  institucionales 

— participacion  en  programas  orientados  a la  mejora  de  la 
actividad  docente 

3.  DESARROLLO  Y DEDICACION  A LOS  PROCESOS  DE  ENSENANZA-APRENDIZAJE 


Valoracion  de  la  competencia  docente 

— evidencias  sobre  la  eficacia  en  las  clases 

— evidencias  sobre  la  adecuacion  de  los  metodos  a los  objetivos 
educativos  (teoricos,  practicos,  etc.) 

Innovacion  en  la  ensenanza 

— innovariones  en  los  contenidos  curriculares 

— innovariones  metodologicas 

— interdisciplinariedad  y trabajo  en  equipo 

— innovariones  relativas  a programas  nacionales  e internacionales 

Relaciones  con  los  estudi antes  y 
servicios  de  apoyo 

— disponibilidad  fuera  de  las'clases 

— sistemas  de  orientacion  y consulta 

Procedimientos  de  evaluacion  y 
autoevaluacion 

— evidencias  sobre  los  metodos  utilizados 

— innovacion  en  las  tecnicas  de  evaluacion 

— sistemas  de  feedback  utilizados 

— reflexion  sistematica  y regular  sobre  la  practica  docente 

— uso  de  la  evaluacion  de  los  alumnos  y colegas 

— revision  de  la  ensenanza  en  relacion  con: 

a)  los  fines  y objetivos  de  la  titulacion 

b)  los  contenidos  curriculares  de  la  materia 

4.  INDICADORES  RELATIVOS  A LOS  RESULTADOS  E IMPACTOS 


Resultados  academicos  de  los  alumnos 

— tasas  de  exito,  fracaso  y abandono 

4)  Reconorimiento  dentro  de  la  institurion 

— valorariones  de  los  estudiantes  y colegas 

— evaluariones  de  los  responsables  academicos 

— cargos  docentes  desempenados  por  elecrion 

Reconorimientos  fuera  de  la  institurion 

— invitariones  para  impartir  docencia  en  otros  centros: 

a)  conferencias,  seminarios,  cursos  nacionales  e internacionales 

b)  estancias  regulares  en  otros  departamentos  universitarios 
(master,  doctorados,  posgrados,  etc.) 

— servicios  profesionales  a otras  universidades  y organizariones 
en  tanto  como  evaluador 

— becas  y contratos  conseguidos  para  mejorar  la  ensenanza 
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do  habra  de  presentar  las  evidencias  pertinentes.  Si  analizamos  cada  una  de  estas 
dimensiones  podremos  ver  claramente  que  en  modo  alguno  podran  aportarse  eviden- 
cias utilizando  una  unica  fuente  de  informacion  o un  simple  instrumento  de  recogida 
de  informacion. 

Desde  una  consideration  estrictamente  metodologica  para  recoger  la  informacion 
necesaria,  sobre  la  que  basar  las  evidencias  en  cada  una  de  las  dimensiones  planteadas 
en  el  modelo  de  De  Miguel  (1998),  se  podria  utilizar  una  multiplicidad  de  metodos  y 
tecnicas.  Concretamente,  si  centramos  la  atencion  a nivel  de  aula,  en  el  cuadro  2 pode- 
mos  observar  una  primera  clasificacion  de  estos. 

Situandonos  en  esta  perspectiva,  en  la  que  se  tienen  en  cuenta  diversos  momentos, 
metodos  y tecnicas  de  recogida  de  informacion,  que  ayudaran  a comprender  una  reali- 

CUADRO  2 

METODOS  Y TECNICAS  PARA  LA  EVALUAClON  DE  LA  ACTIVIDAD  DOCENTE 


Metodos 

Tecnicas 

Autoevaluacion 

— Feedback  del  propio  comportamiento  docente 

— Formularios  de  autovaloracion 

— Materiales  de  autovaloracion 

— Autoinformes 

— Observacion  en  clase  de  colegas 

— Revision  de  companeros 

Evaluacion  por  los  companeros 

— Con  observacion 

— Sin  observacion 

Evaluacion  por  supervisores 

— Observacion  en  el  aula 

Evaluacion  por  los  alumnos 

— Aprendizaje  de  los  alumnos 

— Cuestionarios  de  evaluacion 

— Entrevistas  grupales 

Otros 

— Valoraciones  de  administradores 

— Portafolio 

dad  compleja  y facilitaran  la  toma  de  decisiones,  con  el  fin  de  mejorar  la  actividad 
docente,  desde  la  Unidad  para  la  Calidad  de  la  Universidad  de  Cadiz  se  estan  reali- 
zando  ciertas  aproximaciones  para  evaluar  la  actividad  docente  del  profesorado,  una 
de  las  cuales  comentamos  seguidamente. 

UNA  EXPERIENCE  DE  EVALUAClON  DE  LA  DOCENCIA  DESDE  UNA  PERS- 
PECTIVA CUALITATIVA 

Durante  el  curso  1996/1997  la  evaluacion  de  la  docencia  en  la  Universidad  de 
Cadiz  se  habfa  realizado  en  convocatoria  publica  de  caracter  voluntario.  Asi,  cualquier 
profesor  interesado  solicitaba  su  participation  y desde  la  Unidad  para  la  Calidad  se 
arbitraban  los  medios  necesarios  para  recabar  la  opinion  de  los  alumnos  sobre  la  acti- 
vidad docente  del  profesorado,  de  tal  suerte  que  los  cuestionarios  de  opinion  eran 
cumplimentados  por  parte  de  los  alumnos  bajo  las  orientaciones  de  encuestadores 
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independientes  y,  si  asf  lo  deseaba,  en  presencia  del  propio  profesor,  guardando  en 
todo  momento  la  confidencialidad  necesaria  en  estos  casos. 

Este  procedimiento  permitio  una  mayor  fiabilidad  y credibilidad  de  los  resultados 
obtenidos,  pero  segufa  sin  aportar  informaciones  que  permitieran  comprender  mejor 
la  actividad  concreta  de  cada  profesor. 

En  un  intento  de  superacion  de  este  modelo,  durante  el  curso  1997/1998  se  inicio 
desde  la  Unidad  para  la  Calidad  de  la  Universidad  de  Cadiz  una  experiencia  de  eva- 
luation de  la  docencia,  con  el  fin  de  experimentar  un  procedimiento  de  evaluacion  que 
sirviera  para  introducir  nuevos  metodos  de  evaluacion  para  una  mejor  aproximacion  a 
la  realidad  docente  de  cada  profesor. 

Asf,  se  realizo  una  nueva  convocatoria  publica  entre  todo  el  profesorado  que 
durante  el  curso  1996/1997  habfa  participado  en  el  proceso  de  evaluacion  de  la  docen- 
cia siguiendo  el  modelo  de  encuesta,  ofreciendole  participar  en  una  experiencia  que 
implicarfa  un  mayor  seguimiento  de  su  actividad  docente.  La  respuesta  fue  muy  posi- 
tiva  y se  tuvo  que  proceder  a una  selection  aleatoria  de  participantes,  pues  con  los 
medios  humanos  que  se  contaban  en  ese  momento  no  se  podia  dar  respuesta  a todas 
las  peticiones.  En  total  se  seleccionaron  20  profesores  de  diferentes  facultades. 

En  la  figura  1 podemos  observar  el  caracter  complementario  y global  que  se  preten- 
de  con  este  nuevo  modelo  de  evaluacion  de  la  docencia.  En  definitiva  lo  que  se  perse- 
gufa  era  recabar  informacion  sobre  la  actividad  docente  del  profesorado  implicando  al 
mismo  en  el  proceso  de  una  forma  mas  directa  y tomando  otras  fuentes  de  informa- 
cion complementarias.  Asf  la  opinion  del  profesorado  y de  sus  alumnos  se  recogerfa  a 
partir  de  entrevistas,  informaciones  que  se  complementarfan  con  las  observaciones 
realizadas  por  parte  de  los  observadores  externos  y la  confrontation  con  otros  docu- 
mentos  tales  como  programas  de  las  asignaturas,  lecturas,  etc. 


Figura  1 

Fuentes  de  informacion  para  la  evaluacion  de  la  docencia 
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El  proceso  que  se  siguio  se  sintetiza  en  la  figura  2,  en  la  que  podemos  observar  las 
distintas  fases  que  se  desarrollaron  en  la  ejecueion  del  mismo. 


FASE  I:  — Difusion 

PREPARACldN  — Seleccion  de  particip antes 

— Entrenamiento  de  observadores 


FASE  II:  — Entrevistas  a los  profesores 

RECOGIDADE  — Observaciones  en  el  aula 
INFORMAClON  — Entrevistas  grupales  a aiumnos 


FASE  IIP 

BORRADORDE  ~ de  la  information 

INFORME  — Borrador  de  rnfonne 
INDIVIDUAL  — Envfo  al  profesorado  del  informe 


FASE  IV: 
INFORME 
INDIVIDUAL 
DEFINITIVO 


— Reception  de  comentarios  y sugerendas  del  profesorado 

— Entrevistas  de  contraste  de  informatidn 

— Elaboration  de  informe  definitivo 


FASE  V: 

— Anilisi9  de  la  information  por  categonas 

INFORME  GLOBAL 

— Informe  global 

Figura  2 

Fases  en  el  proceso  de  evaluacion  de  la  docencia 


Primera  fase:  Preparacion 
Difusion  del  proyecto: 

A lo  largo  del  primer  trimestre  del  curso  1997/1998  se  difundio  una  carta  de  pre- 
sentation del  proyecto  entre  el  profesorado  de  la  Universidad  de  Cadiz  que  durante  el 
curso  anterior  habia  realizado  la  evaluacion  de  su  actividad  docente  a traves  del  pro- 
cedimiento  de  encuesta  al  alumnado. 

Seleccion  del  profesorado  participants. 

Una  vez  recibidas  las  solicitudes  de  participation  en  el  proyecto  se  procedio  a 
seleccionar  un  total  de  20  profesores,  a los  que  se  les  comunico  que  a partir  del  mes  de 
marzo  de  1998  que  se  procederia  a realizarle  entrevistas,  observaciones  de  sus  clases  y 
entrevistas  a sus  aiumnos. 

Entrenamiento  de  los  observadores : 

Los  observadores  que  participaron  en  esta  experiencia  eran  todos  aiumnos  de  la 
Facultad  de  Ciencias  de  la  Education  que  cursaban  su  ultimo  ano  de  la  Licenciatura  de 
Psicopedagogia,  y concretamente  cursaban  la  asignatura  de  Metodologia  de  la  Investi- 
gation Cualitativa. 
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Antes  de  iniciar  el  proceso  de  evaluation  se  mantuvieron  sesiones  de  formation 
para  familiarizarse  con  las  tecnicas  cualitativas  que  iban  a ser  utilizadas  posteriormen- 
te.  A1  finalizar  esta  etapa  formativa  se  constituyeron  un  total  de  20  equipos  de  obser- 
vadores  formados  por  dos  o tres  alumnos. 

Segunda  Fase:  Recogida  de  Information 

El  proceso  de  recogida  de  informacion  se  llevo  tras  acordar  el  mismo  entre  el  profe- 
sor  implicado  y el  equipo  de  observacion,  tras  lo  cual  se  realizaron  las  siguientes  acti- 
vidades: 

Realization  de  entrevistas  a los  profesores 

Las  entrevistas  se  realizaron  a los  profesores  bajo  el  formato  de  entrevista  semies- 
tructurada,  de  acuerdo  con  el  guion  de  entrevista  que  se  presenta  en  el  Anexo  I.  Estas 
entrevistas  fueron  grabadas  en  audio  y transcritas  posteriormente  para  facilitar  su 
analisis  posterior. 

A lo  largo  de  la  entrevista  y de  la  observacion  en  el  aula  se  le  requirio  al  profesora- 
do  toda  la  documentation  que  considerara  de  interes  sobre  la  asignatura  (programa, 
apuntes,  evaluaciones  ...etc.) 

Realization  de  observation  en  las  aulas 

Durante  dos  o tres  sesiones  se  realizaron  las  observaciones  en  las  aulas  de  los  pro- 
fesores, tomando  como  guia  de  observacion  la  que  se  presenta  en  el  Anexo  II.  El  regis- 
tro  de  estas  observaciones  se  llevo  a cabo  a traves  de  notas  de  campo,  que  eran. 
posteriormente  archivadas  en  formato  electronico. 

Realization  de  entrevistas  grupales 

La  opinion  del  alumnado  se  recabo  a traves  de  la  realization  de  entrevistas  grupa- 
les, de  acuerdo  con  la  guia  de  entrevista  que  se  adjunta  en  el  Anexo  III.  Los  alumnos 
entrevistados  fueron  seleccionados  bajo  el  criterio  de  representatividad  de  los  mismos 
y participation  e implication  en  las  actividades  del  aula,  de  forma  que  pudieran  apor- 
tar  informacion  de  calidad. 

Tercera  fase:  Elaboration  de  borrador  de  informe  individual  de  evaluation 

En  esta  tercera  fase  el  objetivo  fundamental  era  realizar  un  informe  individualiza- 
do  de  la  actividad  docente  de  cada  uno  de  los  profesores,  sobre  la  base  de  toda  la 
informacion  recabada  en  la  fase  anterior.  Para  ello  se  siguieron  las  siguientes  etapas: 

Analisis  de  la  information 

En  primer  lugar  cada  equipo  de  observacion  realizo  un  analisis  de  la  informacion 
recabada  en  la  etapa  anterior,  siguiendo  en  este  sentido  el  proceso  general  de  analisis 
(Rodriguez  y otros,  1996)  y utilizando  como  sistema  de  categorias  el  presentado  en  el 
Anexo  IV. 


ERIC 


415 


424 


Gregorio  Rodriguez  Gomez 


Realizacion  del  borrador  de  informe 

Sobre  la  base  de  las  entrevistas,  las  observaciones  y el  analisis  de  los  documentos  cada 
equipo  de  observation  realizo  un  primer  informe  sobre  la  actividad  docente,  que  con  una 
longitud  que  oscilo  entre  7 y 12  paginas  segufa  basicamente  la  siguiente  estructura: 

— Introduction 

— Contexto  (Aula,  plan  de  estudios,  asignatura) 

— Metodologia  (planificacion,  objetivos,  metodologia  en  el  aula) 

• — Evaluation  (tecnicas,  instrumentos,  criterios  ...) 

— Relaciones  con  los  alumnos 

— Valoracion  global 

— Propuestas  de  mejora 

Envio  al  profesorado  del  borrador  de  informe 

Una  vez  elaborado  el  borrador  de  informe  este  se  enviaba  al  profesorado  para  que 
procediera  a su  lectura  y analisis  y,  posteriormente  en  la  siguiente  fase,  proceder  a su 
contraste  con  los  observadores. 

Cuarta  fase:  Elaboracion  del  informe  individual  de  evaluation  definitivo 

El  objetivo  de  esta  cuarta  fase  era  el  de  elaborar  el  informe  final  de  evaluation 
sobre  la  actividad  docente  de  cada  uno  de  los  profesores,  sobre  la  base  del  consenso  a 
partir  de  las  informaciones  y documentos  analizados  en  las  fases  anteriores.  Las  eta- 
pas  que  se  sucedieron  fueron: 

Reception  de  comentarios  y sugerencias  al  borrador 

Una  vez  recepcionado  por  parte  del  profesor  el  informe  de  evaluation,  y tras  la  lec- 
tura del  mismo,  si  tenia  que  realizar  alguna  aclaracion,  aportacion  o critica  estas  eran 
enviadas  al  equipo  de  observation. 

Contraste  de  la  information 

Para  contrastar  las  sugerencias  aportadas  por  cada  uno  de  los  profesores,  cada 
equipo  de  observation  mantuvo  una  ultima  entrevista  con  cada  profesor,  con  la  finali- 
dad  de  aclarar  las  dudas  o recomendaciones  realizadas  y llegar  a un  consenso  sobre  el 
contenido  del  informe  final  de  evaluation. 

Elaboration  del  informe  definitivo 

Una  vez  alcanzado  el  consenso,  por  parte  del  equipo  de  observation  se  realizo  el 
informe  final  de  la  actividad  docente  de  cada  profesor,  enviando  el  mismo  a cada  pro- 
fesor participante. 

Quinta  fase:  Elaboration  de  informe  global 

En  esta  ultima  fase  del  proceso  de  evaluation  la  unidad  de  analisis  y evaluation 
cambiaba  el  foco  de  atencion,  pasando  de  la  atencion  prestada  hasta  ese  momento  a 
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la  actividad  individual  de  cada  profesor,  a las  categorias  de  analisis  que  se  conside- 
raron  mas  importantes:  contexto  de  la  docencia,  metodologia,  evaluacion  y relacio- 
nes  con  los  alumnos.  El  objetivo  era  disponer  de  un  informe  que  aportara  una  vision 
global  de  la  actividad  docente  del  profesorado,  para  lo  cual  se  siguieron  las  siguien- 
tes  etapas: 

Analisis  de  la  informacion  sobre  la  base  del  sistema  de  categorias 

En  este  momento  se  llevo  a cabo  un  analisis  de  todo  la  informacion  recopilada 
(entrevistas,  notas  de  campo  y documentos)  tomando  como  foco  de  atencion  las  prin- 
cipales  categorias.  Las  cuestiones  que  guiaron  este  proceso  de  analisis  eran: 

— ^Cuales  son  las  caracteristicas  del  contexto  en  el  que  los  profesores  desempenan 
su  actividad  docente? 

— ^Cuales  son  las  principals  caracteristicas  de  la  metodologia  seguida  por  parte 
del  profesorado  en  sus  aulas? 

— iQue  caracteriza  al  proceso  de  evaluacion  que  sigue  el  profesorado? 

— (jComo  podrian  caracterizarse  las  relaciones  de  los  profesores  con  el  alumnado? 

Elaboracion  de  informe  final  global  por  categorias 

Tomando  como  base  cada  una  de  las  principales  categorias  analizadas  se  realizo  un 
informe  global  de  la  actividad  docente  del  profesorado  implicado  en  esta  experiencia 
de  evaluacion. 

A MODO  DE  CONCLUSION 

Como  han  puesto  de  manifiesto  diferentes  autores,  el  modelo  de  evaluacion  de  la 
actividad  docente  puesto  en  practica  hasta  el  momento  en  el  contexto  de  nuestras  uni- 
versidades  espanolas  es  a todas  luces  insuficiente  para  alcanzar  una  minima  compren- 
sion  de  esa  realidad  tan  compleja. 

La  experiencia  expuesta  en  estas  paginas  realizada  en  la  Universidad  de  Cadiz  y 
otras  similares,  como  las  llevadas  a cabo  por  parte  de  Alvarez  Rojo  (1999)  en  la  Uni- 
versidad de  Sevilla,  ponen  de  manifiesto  que  la  puesta  en  practica  de  modelos  alterna- 
tives como  el  planteado  por  De  Miguel  (1999)  son  factibles. 

La  cultura  de  la  evaluacion  y la  preocupacion  por  una  mejora  de  la  actividad 
docente  viene  generalizandose  cada  vez  mas,  como  lo  ponen  de  manifiesto  las 
numerosas  jornadas  que  desde  diferentes  areas  de  conocimiento  se  dedican  de 
forma  monografica  a la  presentation  de  aportaciones  en  el  terreno  de  la  docencia 
universitaria. 

Asi  pues,  en  estos  momentos  disponemos  de  las  tecnicas  e instrumentos,  asi  como 
de  la  cultura  evaluativa  suficiente  como  para  poder  abordar  eficazmente  estas  pro- 
puestas  alternativas  de  evaluacion  de  la  actividad  docente,  de  tal  forma  que  incidan  en 
mejoras  significativas  de  la  calidad  de  la  misma.  La  cuestion  radica  en  que  desde  una 
perspectiva  polftica  se  tomen  las  decisiones  oportunas  que  faciliten  los  medios  y recur- 
sos  necesarios  para  ello. 


426 


Gregorio  Rodriguez  Gomez 


BIBLIOGRAFIA 

Alvarez  Rojo,  V.  (1999).  Profundizando  en  la  calidad  de  la  ensenanza : aportaciones  de  los  pro- 
fesores  mejor  evaluados  de  la  Universidad  de  Sevilla.  Sevilla:  Servicio  de  Publicaciones  - 
Vicerrectorado  de  Calidad  - ICE. 

Aylet,  R.  y Gregory,  K.  (1991).  Assessment  for  Excellence.  Nueva  York:  MacMillan. 

De  Miguel,  M.  (1989).  Criterios  para  la  evaluacion  del  profesorado  universitario.  Oviedo: 
KRK  Ediciones. 

De  Miguel,  M.  (1991).  Utilization  de  indicadores  en  la  evaluacion  de  la  docencia  uni- 
versitaria.  En  M,  De  Miguel,  J.  Mora  y S.  Rodriguez  (Eds.),  La  evaluacion  de  las  insti- 
tuciones  universitaria.  Madrid:  Consejo  de  Universidades/MEC. 

De  Miguel,  M.  (1996).  La  evaluacion  de  la  funcion  docente  del  profesorado  universita- 
rio. En  J.M.  Rodriguez  (Ed.),  Adas  del  Seminario  de  Formacion  y Evaluacion  del  Profe- 
sorado Universitario.  Huelva:  Servicio  de  Publicaciones  de  la  Universidad  de  Huelva 
/ ICE. 

De  Miguel,  M.  (1997).  Evaluacion  y reforma  pedagogica  en  la  ensenanza  universitaria. 
En  P.  Apodaca  y C.  Lobato  (Eds.),  Calidad  en  la  Universidad:  Orientacion  y evaluacion. 
Barcelona:  Laertes. 

De  Miguel,  M.  (1998).  La  evaluacion  del  profesorado  universitario.  Criterios  y pro- 
puestas  para  mejorar  la  funcion  docente.  Revista  de  Educacion,  (315),  67-83. 

Dunkin,  M.  (1995).  Concepts  of  teaching  and  teaching  excellence  in  Higher  Education. 
Higher  Education  Research  and  Development,  14  (1),  21-33. 

Ellis,  R.  (Ed.)  (1993).  Quality  Assurance  for  University  Teaching.  Londres:  The  Society  for 
Research  into  Higher  Education  / Open  University  Press. 

Elton,  L.  (1996).  Criteria  for  Teaching  Competence  and  Teaching  Excellence  in  Higher 
Education.  En  R.  Aylet  y K.  Gregory  (Eds.),  Assessment  for  Excellence.  Nueva  York: 
MacMillan. 

Mateo,  J.  (2000).  La  evaluacion  del  profesorado  y la  gestion  de  la  calidad  de  la  educa- 
cion. Hacia  un  modelo  comprensivo  de  evaluacion  sistematica  de  la  docencia. 
Revista  de  Investigacion  Educativa,  18  (1),  7-36. 

Zuniga,  R.  (1997).  La  evaluacion  en  la  action  docente.  En  P.  Apodaca  y C.  Lobato 
(Eds.),  Calidad  en  la  Universidad:  Orientacion  y evaluacion.  Barcelona:  Laertes. 


La  evolution  de  la  actividad  docente  en  la  universidad:  entre  el  suefio  y la  realidad 


427 


ANEXO  I: 

gui6n  de  entrevista  semiestructurada  al  profesorado 

1.  Biografia  personal 

• ^Puede  contarnos  a grandes  rasgos  su  trayectoria  academica  y profesional? 

• ^Que  le  movio  a elegir  esta  carrera? 

2.  Actividad  profesional 

• ^Que  asignaturas,  grupos  y alumnos  tiene  a su  cargo? 

• ^Podria  describirnos  una  semana  tipica  de  trabajo? 

• ^Esta  o ha  estado  realizando  alguna  investigation? 

• ^Influye  en  su  propia  docencia  aquello  sobre  lo  que  investiga? 

• ^Como  coordina  su  labor  docente/  investigadora  y administrativa? 

3.  Planificacion  de  la  ensenanza 

• iComo  planifica  la  docencia  de  su  asignatura? 

• ^Cuales  son  sus  criterios  de  cara  a seleccionar  objetivos  y contenidos  y su  distri- 
bution en  el  tiempo? 

• ^Existe  coordination  docente  con  otros  companeros? 

• ^Que  aspectos  de  la  docencia  se  discuten  o negocian  con  los  alumnos? 

• Existen  diferencias  entre  la  planificacion  de  una  clase  teorica  y una  practica? 

4.  Organization  de  la  clase 

• ^Como  se  estructura  el  desarrollo  de  una  clase? 

• ^Organiza  a los  alumnos  en  la  clase  de  algun  modo  particular? 

• ,-Utiliza  algun  tipo  de  recurso  para  impartir  una  clase  (pizarra,  retro,  video  ... 
etc.)? 

• ^ Que  tipo  de  cosas  planea  de  cara  a motivar  y conseguir  el  interes  de  los  alum- 
nos? 

5.  Metodo  de  ensenanza 

• ^Como  describiria  el  metodo  de  ensenanza  que  sigue  en  su  clase? 

6.  Evaluacion 

• ^Cuales  son  sus  criterios  de  evaluacion? 

• ^Que  evalua? 

° ^Como  evalua  el  aprendizaje  de  sus  alumnos? 

• ^Influyen  los  resultados  de  la  evaluacion  para  modificar  su  practica  docente? 

7.  Tutoria 

• ^Como  enfoca  las  sesiones  de  tutoria  con  sus  alumnos? 

• ^Asisten  los  alumnos  a tutorias?,  ^para  que? 

8.  Relaciones  profesionales 

• ^ Que  comentarios  piensa  que  podria  hacerme  un  alumno  suyo  sobre  usted? 
sus  companeros? 

• ^Como  describiria  su  relation  con  sus  alumnos?  con  sus  companeros? 

• ^Cree  usted  que  existen  diferencias  entre  como  se  percibe  usted  como  profesor  y 
como  le  perciben  los  demas  (alumnos  y companeros)? 
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9.  Formation  pedagogica 

• ^Como  describiria  la  evolution  que  ha  seguido  como  profesor  desde  que 
comenzo  a dar  clases  hasta  ahora? 

• ^Que  es  lo  que  mas  le  ha  ayudado  a evolucionar  en  este  sentido? 

• ^Que  recomendaciones  le  haria  a un  profesor  novel  para  que  mejore  su  docencia 
y de  que  obstaculos  le  prevendria? 

• ,-Participa  o ha  participado  en  alguna  actividad  formativa  de  caracter  pedago- 
gico? 

10.  Necesidades  docentes 

• ^Como  seria  para  usted  una  organization  ideal  de  la  facultad  y del  departa- 
mento? 

• ^,Que  cambiaria  o modificaria? 
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ANEXO  II: 

GUIA  TECNICA  DE  OBSERVACK^N 


Tipo: 

Observation  participante  (participation  moderada  = Interaction  limitada  = Obser- 
vador  como  participante) 

Objetivos: 

— Describir  el  proceso  de  ensenanza-aprendizaje  en  las  aulas  universitarias 

— Describir  las  relaciones  profesor-alumno 

— Describir  las  relaciones  del  alumnado  en  el  aula 

— Describir  el  contexto  de  la  ensenanza  (tanto  el  contexto  fisico  como  la  cultura 
que  esta  implicita) 

Ambitos: 

Clases  teoricas  y clases  practicas 

Duration: 

Tres  sesiones  de  clase 

Registro: 

Notas  de  campo 
Aspectos  a observar: 

1.  Aspecto  fisico  del  aula:  ' 

Localization  del  aula  en  el  edificio,  mobiliario,  luminosidad  del  aula,  tamano, 
disposition  del  alumnado,  etc. 

2.  Metodologfa  de  ensenanza: 

Incluye  las  estrategias  didacticas  que  el  profesorado  emplea  en  sus  clases: 

— lection,  trabajo  en  grupo  ...  etc. 

— perfil  tipico  de  una  clase 
1.  Recursos 

Materiales  que  se  utilizan  en  las  clases,  su  disposition  y procedimiento  de  uso: 

— libros,  apuntes,  transparencias,  retroproyector,  video,  microfono  ...  etc. 

1.  Relaciones 

Quienes  y como  se  relacionan  en  el  aula 

2.  Organization 

Distribution  del  espacio  y el  tiempo  durante  las  clases 

3.  Evaluation 

Actuaciones  realizadas  con  la  intention  de  valoracion  del  rendimiento  de  los 
alumnos  y la  propia  actividad  docente 

4.  Sentimientos 

Como  se  siente  el  alumnado  y el  profesorado  en  la  clase 
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ANEXO  III: 

gui6n  de  entrevista  semiestructurada  al  alumnado 

1.  Cumplimiento  de  las  obligaciones  por  parte  del  profesor 

• iQue  pensais  de  una  forma  general  sobre  este  profesor? 

• ^Asiste  regularmente  a clase,  justifica  sus  faltas,  es  puntual ...  etc.? 

• ^Como  organiza  las  tutorfas  y la  atencion  hacia  vosotros?  iQue  contenidos  tra- 
tais  en  ellas? 

• ^Es  abierto  con  vosotros  y manifiesta  interes  por  ayudaros? 

2.  Information  al  comienzo  del  curso 

• iQue  aspectos  trato  al  comenzar  la  asignatura:  su  forma  de  dar  las  clases,  la  eva- 
luation ...? 

• iComo  os  presento  estos  aspectos?  (Retroproyector,  fotocopias  ...etc) 

• i A que  dio  mas  importancia  en  su  asignatura  (asistencia,  ampliation,  examenes 

...)? 

• lOs  ha  facilitado  bibliograffa  complementaria? 

• ^Os  ha  dado  la  oportunidad  de  discutir  algunos  aspectos  del  programa  y de  la 
marcha  del  curso? 

3.  Relaciones  del  profesor  con  los  alumnos 

• ^Podriais  describir  el  modo  en  que  se  relaciona  con  vosotros? 

• ^Como  creeis  que  os  ve  a vosotros? 

• ^Soleis  participar  en  clase  preguntando,  criticando  ...etc.? 

• iComo  calificarfais  a este  profesor? 

• ^Como  describirfais  el  ambiente  de  clase? 

4.  Sobre  el  sistema  de  evaluacion 

• iQue  opinion  os  merece  su  sistema  de  evaluacion?  iQue  pensais  sobre  el 
mismo?  ^Participate  de  alguna  forma  en  la  evaluacion? 

• ^Considerate  que  el  sistema  es  adecuado?  iQue  cambiarfais  del  mismo? 

5.  Sobre  el  desarrollo  de  las  clases 

• ^Como  describirfais  una  sesion  de  clase  tfpica  de  este  profesor? 

• iQue  opinion  os  merece  la  forma  en  que  da  clases? 

• ^Utiliza  algunos  materiales  en  clase  (retro,  videos  ...etc.)? 

• ^Como  calificarfais  las  clases?  (Aburridas,  interesantes  ...  etc.) 

• iSe  busca  la  relacion  con  otras  asignaturas? 

• ^Se  para  en  los  aspectos  mas  importantes? 

6.  Metodo  de  ensenanza 

• ^Como  describirfais  su  forma  de  dar  clase? 

• ^Considerais  su  forma  de  dar  clase  adecuada  e interesante? 

• iQue  cambiarfais  de  sus  clases? 

7.  Opinion  global 

• ^Estais  satisfecho  en  general  con  este  profesor? 
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ANEXO  IV: 

SISTEMA  DE  CATEGORfAS 


1.  Trayectoria  profesional 

1.1.  Continuidad  en  la  materia 

1.2.  Carga  docente  actual 

1.3.  Acceso 

1.4.  Experiencia 

1.5.  Formacion  previa 

2.  Actividad  profesional 

2.1.  Docencia 

2.1.1.  Relation  docencia-investigacion-gestion 

2.2.  Investigation 

2.3.  Gestion 

2.4.  Otras:  seminarios,  cursos,  revistas,  tesis,  etc. 

3.  Planificacion  de  la  ensenanza 

3.1.  Actividades  previas 

3.2.  Coordination  con  otros  profesores 

3.3.  Participacion  de  los  alumnos 

3.4.  Diferencias  entre  teoria  y practicas 

3.5.  Objetivos  que  se  pretenden  con  la  asignatura 
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RESUMEN 

En  este  articulo  se  considera  la  evaluation  de  la  ensenanza  en  el  dmbito  de  la  evaluation  de 
la  calidad  de  la  universidad  y la  aportacion  que  pueden  hacer  los  alumnos  en  este  proceso.  Se 
presenta  un  cuestionario  construido  para  valorar  las  asignaturas  que  conforman  el  plan  de 
estudios  y los  resultados  del  analisis  multivariante  realizado.  El  cuestionario  se  propone  como 
un  medio  mas  para  ser  utilizado  en  la  evaluation  de  la  ensenanza  dentro  del  Plan  National  de 
Evaluation  de  la  Calidad  de  las  Universidades. 

ABSTRACT 

This  article  deals  with  the  evaluation  of  teaching  in  the  area  of  the  evaluation  of  the  quality  of 
the  university  and  what  the  students  can  add  to  this  process.  A questionnaire  is  presented  in 
order  to  assess  both  the  subjects  that  make  up  the  curriculum  and  the  results  of  the  multivariant 
analysis  carried  out.  The  questionnaire  is  proposed  as  a further  means  in  order  to  be  used  in  the 
evaluation  of  teaching  within  the  National  Plan  of  Evaluation  of  the  Quality  of  the  Universities. 


I.  INTRODUCCION 

En  los  ultimos  arios  el  debate  publico  sobre  la  calidad  en  las  universidades  europeas 
viene  siendo  constante  y son  muchos  los  paises,  entre  ellos  Espana,  que  han  estableci- 
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do  mecanismos  de  evaluation  de  las  universidades.  La  preocupacion  reciente  por  la 
busqueda  y el  control  de  la  calidad  en  la  ensenanza  universitaria  se  ha  manifestado 
con  fuerza  en  los  anos  noventa,  siendo  un  exponente  de  ello  el  desarrollo  de  procedi- 
mientos  de  evaluation  de  las  instituciones  de  education  superior. 

Entendemos  que  esta  preocupacion  por  la  calidad  deriva  en  parte  de  una  exigen- 
cia  de  la  propia  sociedad.  La  universidad  presta  un  servicio  de  interes  general  que 
es  financiado,  en  la  mayoria  de  los  casos,  principalmente  con  fondos  publicos  y es 
por  ello  que  cada  vez  existe  una  mayor  presion  social  sobre  la  calidad  del  servicio. 
Pero  si  bien  es  cierto  que  la  presion  externa  ha  sido  un  factor  condicionante  en  el 
desarrollo  de  lo  que  podiamos  denominar  como  la  «cultura  de  la  calidad»  en  la  uni- 
versidad, no  podemos  olvidar  el  peso  que  esta  teniendo  en  la  expansion  de  esta  cul- 
tura  el  interes  creciente  de  los  propios  agentes  internos  de  la  institution 
universitaria  por  la  calidad  de  los  servicios  que  prestan  y reciben  y por  la  mejora  de 
los  mismos. 

Una  consecuencia  de  este  interes  creciente  por  la  calidad  es  la  preocupacion 
generalizada  por  su  evaluation,  entendiendo  la  evaluation  como  un  medio  para  la 
mejora  de  las  instituciones  universitarias  (Consejo  de  la  Union  Europea,  1998;  Con- 
sejo  de  Universidades,  1999;  Junta  de  Andalutia,  1999). 

Con  objeto  de  desarrollar  sistemas  de  evaluation  de  calidad,  durante  los  ultimos 
quince  anos,  la  mayor  parte  de  los  paises  europeos  han  ido  creando  organismos  res- 
ponsables  de  evaluation  de  las  universidades,  cuya  caracteristica  comun  es  una  inde- 
pendencia  relativa,  no  solo  de  los  ministerios  de  education  sino  tambien  de  las  propias 
universidades.  Estas  innovaciones  institucionales  se  inscriben  en  un  movimiento 
general  de  descentralizacion  de  la  gestion  universitaria,  variando  mucho  el  estatuto 
juridico  y la  composition  de  estos  organismos  en  los  diferentes  paises  (European  Com- 
mission. DGXXH,  1998). 

Esta  variedad  de  organization  institucional  relativa  a la  evaluation  refleja,  sin 
duda,  las  diferencias  tradicionales  que  siguen  persistiendo  entre  paises  con  una  ges- 
tion centralizada  y aquellos  en  los  que  las  universidades  tienen  una  tradition  de  auto- 
nomia  mas  antigua. 

En  Espana  se  confian  las  tareas  de  evaluation  al  Consejo  de  Universidades,  desde 
el  que  se  coordina  el  Plan  National  de  Evaluation  de  la  Calidad  de  la  Universidades 
(PNECU).  En  nuestro  pais,  al  igual  que  en  otros  paises  europeos  como  Holanda,  Fran- 
cia,  Reino  Unido  y Dinamarca,  que  poseen  sistemas  consolidados  de  evaluation  de  sus 
Instituciones  de  Education  Superior,  la  metodologia  de  evaluation  empleada  combina 
la  autoevaluacion  ( self-evaluation ) con  la  evaluation  externa  ( peer  review).  El  modelo  de 
evaluation  que  se  aplica  en  Espana  dentro  del  PNECU  es  el  denominado  «de  autorre- 
gulacidn»,  que  implica  tres  etapas:  autoestudio,  evaluation  externa  e informe  final 
intemo.  La  autoevaluacion  va  seguida  de  la  evaluation  externa  que  proporciona  credi- 
bilidad  al  proceso,  valida  las  conclusiones  (puntos  fuertes  / debiles  y propuestas  de 
mejora)  y,  en  definitiva,  refuerza  la  garantia  de  calidad. 

En  este  modelo  «de  autorregulacidn»  el  PNECU  preve  que  la  unidad  de  evaluation 
se  referencie  en  la  titulation,  evaluandose  al  tiempo  todas  las  actividades  de  la  univer- 
sidad: ensenanza,  investigation  y servicios  (figura  1). 
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Figura  1 

Evaluacion  de  una  titulacion  en  el  PNECU 


2.  LA  EVALUACION  DE  LA  ENSENANZA 

El  logro  de  una  ensenanza  de  calidad  en  la  education  superior  se  nos  ofrece  hoy 
como  un  objetivo  irrenunciable  y de  caracter  prioritario.  Las  recomendaciones  en  este 
sentido  son  cada  vez  mas  frecuentes,  destacando  la  necesidad  de  atender  en  mayor 
medida  la  ensenanza,  a veces  desfavorecida  por  una  atencion  prioritaria  a las  activida- 
des  de  investigation  (Informe  Dealing,  1997;  Consejo  de  la  Comision  Europea,  1998; 
Consejo  de  Universidades,  1999). 

En  los  ultimos  cinco  anos  el  desarrollo  del  PNECU  ha  puesto  de  manifiesto  un  inte- 
• res  creciente  en  el  ambito  universitario  por  la  evaluacion  de  la  ensenanza,  reflejandose 
en  los  diferentes  informes  la  atencion  otorgada  a esta  dimension  en  la  evaluacion  de 
las  titulaciones  (Consejo  de  Universidades,  2000). 

La  evaluacion  de  la  ensenanza  (education)  como  destaca  Rodriguez  (1999)  ha  llega- 
do,  en  algunas  ocasiones,  desde  planteamientos  reduccionistas  a identificarse  con  los 
estudios  de  la  calidad  de  la  docencia  (Teaching).  En  la  actual  practica  de  la  evaluacion 
institutional  de  la  ensenanza,  orientada  a la  mejora,  esta  identification  no  es  pertinen- 
te.  Entendemos  que  cualquier  esfuerzo  de  evaluacion  de  las  dimensiones  consideradas 
en  el  ambito  de  la  ensenanza  ha  de  integrarse,  desde  un  enfoque  global,  con  los  datos 
aportados  en  el  resto  de  dimensiones  y aspectos  considerados. 

En  la  evaluacion  de  la  ensenanza,  dentro  del  PNECU  se  consideran  todas  aquellas 
areas  que  tienen  relation  con  la  titulacion:  Contexto,  Metas  y Objetivos,  Propuestas  de 
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Formation,  Desarrollo  de  la  Ensenanza,  Estudiantes,  Profesores,  Instalaciones  y 
Recursos,  asf  como  Relaciones  Externas.  En  el  analisis  que  se  realiza  de  todas  estas 
areas  durante  el  proceso  de  autoevaluacion,  en  el  que  participan  profesores,  alumnos 
y Personal  de  Administration  y Servicios  (PAS),  una  parte  fundamental  es  la  recogida 
y sistematizacion  de  la  informacion  para  su  analisis  y valoracion  posterior.  La  calidad 
de  la  informacion  recogida  asf  como  la  atencion  prestada  a este  proceso  va  a condicio- 
nar  la  elaboration  y calidad  del  propio  autoinforme. 

3.  LA  RECOGIDA  DE  INFORMACION 

Considerando  que  en  la  evaluacion  han  de  obtenerse  evidencias  (informacion  obje- 
tiva  de  indole  cuantitativa  y cualitativa)  de  modo  sistematico  para  informar  los  juicios 
de  valor  consustanciales  a todo  proceso  evaluativo  permitiendo  la  toma  de  decisiones 
y teniendo  en  cuenta  la  diversidad  de  areas  que  se  abordan,  las  fuentes  de  informacion 
han  de  ser  variadas  asi  como  los  instrumentos  utilizados  para  su  recogida. 

Las  fuentes  de  informacion  basicamente  pueden  agruparse  en  dos  grandes  grupos, 
en  primer  lugar  aquellas  que  aportan  datos  objetivos  provenientes  de  las  estadisticas 
universitarias  (ratios,  calificaciones,  tasas  de  exito,  fracaso  y abandono,  espacios  y 
medios  disponibles,  etc...).  En  segundo  lugar  se  encuentran  las  que  aportan  datos 
basados  en  la  opinion,  pero  en  los  que  pueden  asegurarse  ciertos  niveles  de  validez  y 
fiabilidad.  En  este  caso  los  datos  se  obtienen  fundamentalmente  mediante  encuestas, 
entrevistas,  observation  y grupos  de  debate. 

La  obtencion  de  datos  de  las  primeras  fuentes  es  todavia  un  problema  importante 
en  los  procesos  de  evaluacion  institucional.  En  el  segundo  grupo,  hay  que  avanzar  en 
la  busqueda  de  informacion  objetiva  a traves  de  los  diferentes  medios  e instrumentos 
utilizados. 

Las  aportaciones  de  los  distintos  agentes  implicados  en  la  evaluacion  de  una  titula- 
cion  profesores,  alumnos  y PAS  resultan  muy  importantes  en  este  sentido.  La  informa- 
cion de  los  alumnos  a traves  de  la  valoracion  de  las  asignaturas  que  conforman  el  plan 
de  estudios  puede  aportar  datos  de  gran  valor  en  el  proceso  de  evaluacion  de  una  titu- 
lacion.  Por  ello  la  recogida  de  informacion  a traves  de  la  opinion  de  los  alumnos  ha  de 
hacerse  mediante  instrumentos  y procedimientos  que  garanticen  el  maximo  de  vali- 
dez y fiabilidad  a los  datos  obtenidos. 

4.  EL  INSTRUMENTO  DE  RECOGIDA  DE  INFORMACION  SOBRE  LA  OPI- 
NION DE  LOS  ESTUDIANTES 

A traves  de  una  encuesta  de  opinion  a los  estudiantes  sobre  las  asignaturas  de  la 
titulacion  en  que  cursan  sus  estudios,  mediante  la  aplicacion  de  un  cuestionario,  se 
pretende  obtener  informacion  valida  y fiable  acerca  de  las  variables  consideradas  en 
las  distintas  dimensiones  contempladas,  para  su  integration  en  el  autoinforme  y la 
correspondiente  toma  de  decisiones. 

El  cuestionario  ha  sido  aplicado,  en  una  experiencia  piloto,  a una  muestra  de  434 
alumnos  de  las  titulaciones  evaluadas  dentro  del  PNECU  en  la  universidad  de  Jaen. 
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La  information  obtenida  a traves  de  este  cuestionario  sobre  la  valoracion  por  parte 
de  los  alumnos  de  las  asignaturas  que  conforman  el  plan  de  estudios  de  una  titulacion 
puede  ser  util  combinada  con  aquellos  datos  que  se  contemplan  en  el  autoinforme 
(tablas  4 y 5 de  la  Guia  del  PNECU)  sobre  los  programas  de  las  asignaturas,  tiempo  de 
estudio  semanal,  estrategias  docentes  utilizadas  y tipologfa,  organization  y desarrollo 
de  las  practicas. 

4.1.  Validez  y fiabilidad  del  cuestionario 

En  la  construction  del  cuestionario  se  ha  procurado  garantizar  la  validez  y fiabili- 
dad del  mismo  a traves  de  diversos  procedimientos.  La  fiabilidad,  obtenida  mediante 
el  a de  Chronbach,  ha  dado  un  valor  igual  a 0,9871,  por  lo  que  puede  considerarse 
como  muy  elevada.  En  cuanto  a la  validez,  en  primer  lugar  se  ha  efectuado  la  corres- 
pondiente  revision  bibliografica  del  tema  teniendo  como  referente  principal  la  Guia  de 
Evaluation  del  PNECU,  para  determinar  las  variables  que  debieran  ser  consideradas 
sometiendose  estas  a una  valoracion  de  jueces  expertos. 

Finalmente  se  ha  efectuado  un  analisis  factorial  con  objeto  de  identificar  los  factores 
que  puedan  ser  utilizados  para  representar  las  relationes  entre  las  variables  consideradas. 

4. 1 . 1 . Analisis  factorial 

En  la  figura  2 aparecen  en  primer  lugar  la  media  y la  desviacion  estandar  de  cada 
una  de  las  34  variables  entradas  en  el  analisis  factorial  a las  que  han  respondido  los 
434  sujetos  de  la  muestra  a traves  de  las  preguntas  del  cuestionario  a las  que  se  refie- 
ren  estas  variables. 
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El  grado  de  signification  de  los  coeficientes  que  aparecen  en  la  matriz  de  correla- 
ciones  entre  variables,  en  un  contraste  unilateral,  resulta  significativo  en  todos  los 
casos  p < 0,001.  El  determinate  de  la  matriz  de  correlaciones  es  1,772E-1. 

En  la  figura  3 se  ofrecen  los  KMO  (Kaiser-Meyer-Olkin)  y el  test  de  Bartlett. 

Si  la  suma  de  los  coeficientes  de  correlation  parcial  al  cuadrado,  entre  variables,  es 
muy  pequena,  KMO  sera  un  indice  muy  proximo  a la  unidad  y por  tanto  el  analisis 
factorial  un  procedimiento  adecuado  (Visauta,  1998).  En  nuestro  caso  este  valor  es  de 
0,962  y se  puede  considerar  como  excelente,  por  lo  que  procede  el  analisis  factorial. 

El  test  de  Bartlett  se  utiliza  para  verificar  si  la  matriz  de  correlaciones  es  una  matriz 
de  identidad,  es  decir  si  todos  los  coeficientes  de  la  diagonal  son  iguales  a la  unidad  y 
los  extremos  a la  diagonal  iguales  a 0.  Este  estadistico,  obtenido  a partir  de  la  transfor- 
mation Chi-cuadrado  del  determinante  de  la  matriz  de  correlaciones,  cuanto  mayor 
sea  y por  tanto  menor  el  grado  de  signification  es  mas  improbable  que  la  matriz  sea 
una  matriz  de  identidad.  En  nuestro  caso  con  un  valor  13173,490  y un  grado  de  signifi- 
cation p = 0,000  resulta  evidente  que  no  se  trata  de  una  matriz  de  identidad.  Esto  nos 
lleva  a afirmar  que  el  analisis  factorial  que  sigue  a continuation  resulta  pertinente  y 
puede  proporcionar  conclusiones  satisfactorias. 


KMO  y prueba  de  Bartlett 
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Figura  3 

KMO  y prueba  de  Bartlett 


4. 1 . 1 . 1 . Extraccidn  de  Factores 

El  metodo  utilizado  es  el  de  componentes  principals,  cuyo  objetivo  consiste  en 
encontrar  una  serie  de  componentes  que  expliquen  el  maximo  de  varianza  total  de  las 
variables  originales. 

En  la  figura  4 vemos  que  hay  cinco  factores  con  valores  propios  superiores  a 1 y 
que  en  definitiva  sera  el  numero  que  extraera  el  sistema.  Igualmente,  en  esta  figura  se 
recoge,  en  porcentajes  individuates  y acumulados,  la  proportion  de  varianza  total 
explicada  por  cada  factor,  tanto  para  la  solution  no  rotada  como  para  la  rotada.  Los 
cinco  factores  incluidos  en  el  modelo  son  capaces  de  explicar  exactamente  un  72,276 
por  100  de  la  variabilidad  total. 
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Autovalores  iniciales 

Sumas  de  las  saturaciones  al 
cuadrado  de  la  extracrion 

Suma  de  las  saturaciones  al 
cuadrado  de  la  rotacion 
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% 
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% 
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%de  la 
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% 
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1.233 
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6 

.972 

2.858 

75.134 

Metodo  de  extraction:  Analisis  de  Componentes  principales. 


Figura  4 

Estadi'sticos  iniciales 


En  la  figura  5 tenemos  una  representation  grafica  de  estos  resultados,  figurando  en 
el  eje  de  abcisas  el  numero  total  de  factores  y en  ordenadas  el  valor  propio  de  cada  uno 
de  ellos. 


Numero  de  componente 


Figura  5 

Grafico  de  sedimentation 
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Utilizando  el  metodo  de  componentes  principales  y rotacion  VARIMAX  obtenemos 
la  matriz  de  la  figura  6. 


Matriz  de  componentes  rotados 


Componente 

1 

2 

3 

4 

5 

p24 

“ ,o37 

p23 

.824 

p20 

.811 

p25 

.796 

p21 

.775 

p22 

.772 

p28 

.743 

p19 

.722 

p14 

.714 

p18 

.694 

p17 

.670 

p16 

.635 

p26 

.594 

p7 

.750 

plO 

.748 

p6 

.686 

p5 

.679 

\ 

p4 

.645 

p15 

.585 

p3 

.584 

p9 

.524 

pH 

.501 

p29 

.778 

p30 

.767 

p31 

.682 

p33 

.614 

p32 

.603 

p34 

.572 

P2 

.789 

p8 

.596 

pi 

.470 

p12 

.801 

p13 

.748 

p27 

.580 

Metodo  de  extraccidn:  An^lisis  de  componentes  principales. 

Mdtodo  de  rotacidn:  Normalizacidn  Varimax  con  Kaiser. 
a-  La  rotacidn  ha  convergido  en  8 iteraciones. 

Figura  6 

Matriz  de  pesos  factoriales  y rotacion  VARIMAX 


•) 


•') 
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Los  cinco  factores  obtenidos  se  han  denominado  del  siguiente  modo: 

Factor  1:  Actuation  docente 

Factor  2:  Organization  y medios 

Factor  3:  Evaluation 

Factor  4:  Planificacion  de  la  asignatura 

Factor  5:  Cumplimiento  formal  del  profesor 

En  la  figura  7 aparecen  las  variables  agrupadas  en  cada  uno  de  los  cinco  factores 
obtenidos  en  el  analisis. 


Factor  1:  Actuacidn  docente 

P24.-  Actuacion  del  profesor  para  crear  interes  por  la  asignatura 

P23.-  Potenciacion  del  dialogo 

P20.-  Estimula  la  participation  del  alumno  en  clase 

P25.-  El  profesor  procura  indagar  si  los  estudiantes  entienden  lo  que  explica 
P21.-  Estimula  el  trabajo  personal  de  los  estudiantes  en  la  asignatura 
P22.-  Se  interesa  por  los  alumnos 

P28.-  Como  valoras  globalmente  la  actuacion  docente  del  profesor 
P19.-  Responde  con  exactitud  y precision  a las  cuestiones  que  se  le  plantean 
P14.-  Motivation  del  profesor  para  la  docencia 
P18.-  Amenidad 

P17.-  Eficacia  en  la  transmision  de  conceptos 

P16.-  Claridad  y orden  en  la  presentation  de  la  materia 

P26.~  Disponibilidad  del  profesor  para  consultas,  sugerencias,  etc. 

Factor  2:  Organizacion  y medios 

P7.-  Condiciones  materiales  de  las  clases  de  practicas 

P10.-  Disponibilidad  de  materiales  de  apoyo  a la  docencia  (transparencias,  esquemas...) 

P6.-  Condiciones  materiales  de  las  clases  de  teoria 
P5.-  Organizacion  de  las  practicas 
P4.-  Coordinacion  entre  teoria  y resto  de  actividades 
P15.-  Utilizacion  de  medios  y recursos  didacticos 
P3.-  Material  recomendado  por  el  profesor 

P9.-  Informacion  bibliografica  para  la  preparation  del  programa  de  la  asignatura 

Pll.-  Accesibilidad  en  biblioteca  de  la  bibliograffa  y lecturas  recomendadas  por  el  profesor 

Factor  3:  Evaluacion 

P29.-  Informacion  adecuada,  con  tiempo  suficiente,  de  como  seria  el  sistema  de  evaluacion  utiliza- 
do  en  esta  asignatura 

P30.-  Precision  en  la  definicion  de  criterios  de  evaluacion 

P31.-  Correspondencia  del  nivel  de  los  examenes  con  lo  tratado  en  clase 

P33.-  Tiempo  transcurrido  entre  la  realization  de  un  examen  y la  comunicacion  del  resultado 

P32.-  Relation  entre  los  resultados  obtenidos  en  los  examenes  y los  conocimientos  adquiridos 

P34.-  Accesibilidad  para  la  revision  del  examen 

Factor  4:  Planificacion  de  la  asignatura 

P2.-  Importancia  de  los  contenidos  de  la  asignatura  para  la  formation 
P8.-  Coordinacion  de  la  asignatura  con  el  resto  de  la  carrera 
PI.-  Definicion  de  los  objetivos  y contenidos  de  la  asignatura 

Factor  5:  Cumplimiento  formal  del  profesor 

PI 2.-  Asistencia  a clase 
P13.-  Puntualidad 

P27.-  Disponibilidad  del  profesor  en  su  horario  de  tutorfas 


Figura  7 

Variables  contempladas  en  cada  factor 
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5.  ANALISIS  DE  REGRESION 

El  cuestionario,  junto  a las  34  preguntas  que  lo  conforman,  presenta  una  pregunta 
de  valoracion  global  de  la  asignatura,  por  lo  que  hemos  efectuado  un  analisis  de 
regresion  multiple.  Se  ha  ajustado  un  modelo  que  explica  la  nota  otorgada  a la  valora- 
cion global  de  la  asignatura  en  funcion  de  las  otorgadas  a los  diferentes  factores.  En  la 
figura  8 se  contempla  un  resumen  del  modelo,  donde  se  han  considerado  variables 
predictoras  los  cinco  factores  y variable  dependiente  la  valoracion  global  de  la  asig- 
natura. 


Resumen  del  modelo 


Modelo 

R 

R cuadrado 

R cuadrado 
corregida 

Error  tip.  de 
la  estimacion 

1 

.882a 

.779 

.776 

.65 

a.  Variables  predictoras:  (Constante),  FACTOR5,  FACTOR4,  FACTOR3, 
FACTOR2,  FACTOR1. 


ANOVAb 


Modelo 

Suma  de 
cuadrados 

g1 

Media 

cuadratica 

F 

Sig. 

1 Regresion 

621.488 

5 

124.298 

291.970 

,000a 

Residual 

176.674 

415 

.426 

Total 

798.162 

420 

a.  Variables  predictoras:  (Constante),  FACTOR5,  FACTOR4,  FACTOR3,  FACTOR2,  FACTOR1. 

b.  Variable  dependiente:  p.  35. 


Figura  8 

Resumen  del  modelo  y ANOVA 
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A continuation  se  ofrecen  los  coeficientes  de  regresion  obtenidos  (figura  9)  y la 
ecuacion  de  regresion. 


Modelo 

Coeficientes  no 
estandarizados 

Coeficientes 

estandarizados 

t 

Sig. 

B 

Error  tip. 

Beta 

1 (Constante) 

-.522 

.175 

-2.975 

.003 

FACTOR1 

.676 

.050 

.582 

13.602 

.000 

FACTOR2 

-7,776E-02 

.056 

-.055 

-1.389 

.166 

FACTOR3 

.441 

.048 

,333 

9.206 

.000 

FACTOR4 

.238 

.051 

.154 

4.693 

.000 

FACTOR5 

-.132 

.048 

-.079 

-2.755 

.006 

a.  Variable  dependiente:  p.  35. 


Figura  9 

Coeficientes  de  regresion 


La  ecuacion  es: 

VALORACI6N  GLOBAL  = -0,552  + 0,676* ACTUACI^N  DOCENTE  - 7.776E- 

02*ORGANIZACI6n  Y MEDIOS  + 0,441*EVA- 
LUACI6N  + 0,238*PLANIFICACI(3n  DE  LA 
ASIGNATURA  - 0,132*CUMPLIMIENTO  FOR- 
MAL DEL  PROFESOR 

Esta  ecuacion  indica  que  la  actuation  docente  del  profesor  es  la  variable  que  predi- 
ce en  mayor  medida  la  valoracion  global  de  una  asignatura  por  parte  de  los  alumnos, 
haciendolo  a continuation  la  evaluacion  y la  planificacion  de  la  asignatura. 

Para  fortalecer  esta  consideration  mostramos  en  la  figura  10  el  comportamiento  de 
los  datos  analizados  frente  a los  datos  predichos  por  el  modelo.  Como  se  puede  apre- 
ciar,  la  concordancia  entre  lo  que  predice  el  modelo  y la  valoracion  de  los  alumnos  es 
bastante  elevada. 
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Variable  dependiente:  Satisfaccion  Global 


0,00  ,25  ,50  ,75  1,00 

Prob  acum  observada 


Figura  10 

Grdfico  P-P  normal  de  regresion 


6.  CONCLUSIONES 

La  construction  del  cuestionario  para  recoger  la  valoracion  de  los  estudiantes  sobre 
las  asignaturas  de  una  titulacion  ha  permitido  disponer  de  un  instrumento  valido  y 
fiable  para  la  obtencion  de  information  en  el  proceso  de  evaluation  de  la  ensenanza, 
dentro  del  PNECU. 

Los  datos  obtenidos  a traves  de  las  variables  que  integran  los  cinco  factores  aportan 
una  informacion  util  en  el  proceso  de  avaluacion  institucional  de  la  ensenanza.  No 
obstante,  los  datos  obtenidos  a traves  de  instrumentos  de  este  tipo  no  deberian  consi- 
derarse  como  unica  fuente  de  informacion  respecto  a los  estudiantes. 

En  la  evaluation  de  la  calidad  de  la  ensenanza  hay  que  destacar  la  necesaria  com- 
plementariedad  en  las  distintas  tecnicas  e instrumentos  utilizados.  En  el  caso  concreto 
de  las  asignaturas  de  una  determinada  titulacion,  la  valoracion  que  efectuan  los  alum- 
nos  de  cada  una  de  ellas  debera  completarse  con  la  informacion  que  se  contempla  en 
el  autoinforme  sobre  el  programa  de  las  asignaturas  y las  practicas  en  el  plan  de  estu- 
dios. 

Finalmente  hay  que  destacar  la  necesidad  de  avanzar  en  la  integration  de  los  datos 
obtenidos  en  el  proceso  de  evaluation  de  la  ensenanza  y en  el  analisis  de  sus  relacio- 
nes.  Hay  que  analizar  en  que  medida  interactionan  factores  como:  objetivos  espedfi- 
cos  de  los  programas,  metodos  de  ensenanza  empleados,  relation  entre  tipologia  de 
evaluation  del  alumnado  y tipo  de  aprendizaje,  resultados  en  terminos  de  conoci- 
mientos  y actitudes,  y todo  ello  considerando  las  condiciones  del  marco  de  referenda 
propio. 
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EVALUACIONES  DE  RROGRAMAS  DE  FORMACION 
UNIVERSITARIA  EN  EL  AMBITO  EUROPEO 
Y AMERICANO.  COHERENCIA  CON  LAS 
DEMANDAS  SOCIALES 


Honorio  Salmeron  Perez 

Dpto.  de  Metodos  de  Investigacion  y Diagnostico  en  Educacion 
Universidad  de  Granada 


I.  INTRODUCTION 

La  evaluacion  se  ha  constituido  progresivamente  como  una  logica  que  va  mas 
alia  de  una  simple  tecnologfa  de  medicion  y control.  Se  plantea  como  una  herra- 
mienta  para  esclarecer  el  trabajo  colectivo,  y para  crear  una  comunidad  universitaria 
critica  y autocritica,  capaz  de  hacer  de  su  autonomfa  una  afirmacion  de  identidad 
social.  La  evaluacion  es  creadora  de  comunidad,  porque  debe  permitir  construir  una 
reflexion  comun  no  solo  sobre  la  realizacion  concreta  de  objetivos,  sino  tambien 
sobre  las  finalidades  que  los  animan,  que  son  las  que  dan  sentido  al  quehacer  colec- 
tivo de  creacion  de  conocimientos  y de  significaciones.  Para  hablar  de  creacion  de 
sentido  colectivo  es  necesario  hablar  de  proyecto  colectivo,  de  proyecto  de  universi- 
dad. Elio  implica  contextualizar  la  evaluacion  en  los  fines  de  la  institution  que  ella 
observa,  juzga  y orienta. 

ZIJNIGA,  R.  (1994.  Universidad  de  Montreal,  Quebec,  Canada)  considera,  que 
el  desaflo  actual  esta  en  como  evaluar  la  calidad  en  contextos  en  los  que  no  estan 
claros  los  objetivos  o metas  a alcanzar,  a lo  que  denomina  «desorientacion  univer- 
sitaria».  El  suponer  que  las  universidades  saben  hacia  donde  van,  reflexionan 
dinamicamente  sobre  su  mision,  para  asegurarse  de  que  se  insertan  en  un  momen- 
to  historico,  en  una  sociedad  dada,  y que  lo  hacen  de  una  forma  que  les  permita 
derivar  unas  metas  concretas  y planes  de  accion,  es  una  suposicion  que  peca  de 
generosa. 

Esta  desorientacion  se  expresa  en  varios  rasgos: 
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— En  primer  lugar,  la  autonoirua  real  de  la  universidad  merece  un  analisis  crftico. 
Esta  cada  vez  mas  claro  que  las  fuentes  de  financiacion  son  y seran  cada  vez 
mas  fuentes  multiples.  Los  gobiernos  reducen  progresivamente  sus  aportes  e 
instauran  sutilmente  el  discurso  de  «la  universidad  abierta»,  una  universidad 
que  escucha  las  voces  de  la  comunidad,  y sobre  todo  las  del  mercado,  para  defi- 
nir  su  mision. 

— En  segundo  lugar,  para  la  evaluacion  de  la  calidad  global,  hace  ya  tiempo  que 
hemos  subordinado  la  evaluacion  interna  a la  evaluacion  como  imagen  publica, 
a los  esfuerzos  de  nuestros  administradores  para  asegurar  la  contribucion  eco- 
nomica del  Estado. 

— La  universidad  es  cada  vez  mas  percibida  vista  como  cualquier  otra  institucion, 
y los  privilegios  que  reivindica  son  cada  vez  mas  vistos  como  arcaismos. 

— El  papel  central  que  juega  y puede  jugar  la  evaluacion  en  el  quehacer  universi- 

tario  seria:  >, 

— Como  instrument  tecnico  de  control  interno,  de  responsabilidad  y de  impu- 
tabilidad. 

— Como  instrument  de  formacion.  Formacion  de  intelectuales,  de  profesiona- 
les;  formacion  de  comunidad,  de  respuesta  a una  mision  de  sociedad. 

La  filosofia  que  emerge  de  la  experiencia  acreditadora  americana,  es  contrastante 
con  el  panorama  europeo.  El  continente  eutpeo  es  heredero  de  la  tradicion  centralista 
en  materia  de  planeamiento  educativo  (sobre  todo  a partir  de  los  70),  cuya  expresion 
en  el  ambito  universitario  signified  la  intervencion  del  Estado  en  los  asuntos  academi- 
cos.  Esta  tendencia  difiere  de  los  procesos  de  autorregulacion  norteamericanos,  por 
considerar  a la  institucion  universitaria  como  la  unica  y legitima  responsable  del  pro- 
yecto  academico. 

Las  universidades  pueden  proponerse  un  perfil  de  calidad  respetando  la  tradicion 
y la  propia  dinamica  institucional;  no  es  necesario  que  las  otras  universidades  del  sis- 
tema  (laicas  o confesionales,  publicas  o privadas)  alcancen  el  mismo  resultado,  porque 
pueden  partir  de  otro  tipo  de  definicion  de  calidad.  Lo  que  es  fundamental  es  la  cohe- 
rencia  entre  la  meta  que  cada  universidad  se  propone  alcanzar,  los  medios  y los  resul- 
tados  obtenidos.  Pero,  ^estan  claras  esas  metas?,  ^hay  una  meta  o hay  varias?,  si  son 
varias,  ^se  contradicen  entre  si?,  ^existen  los  recursos  suficientes  para  conquistar 
dichas  metas?,  la  formacion  de  profesionales  crfticos,  la  formacion  de  graduados  con 
capacidad  y habilidad  para  resolver  su  practica  profesional  e insertarse  en  el  medio 
laboral,  la  formacion  de  investigadores,  etc.  ^Constituyen  todas  ellas  metas  compati- 
bles? 

En  este  momento  nuestra  preocupacion  la  centramos  en  la  insercion  laboral  de  titu- 
lados  con  competencias  profesionales  homologadas  con  sus  colegas  de  la  Union  Euro- 
pea. En  este  sentido  resaltamos  dos  disposiciones  del  Consejo  de  Europa  al  respect: 

Resolucion  del  Consejo,  de  5 de  diciembre  de  1994,  sobre  la  calidad  y atracti- 
vo  de  la  Formacion  Profesional. 

Diario  Oficial  n°  C 374  de  30/12/1994  P.  0001-  0004. 
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«...la  politica  de  formacion  profesional  deberia  contribuir  de  manera  importante 
a hacer  efectiva  la  libre  circulation  y a estimular  la  movilidad  de  los  trabaj  ado- 
res dentro  del  mercado  interior  europeo.  No  se  trata  unicamente  de  trasmitir 
— competencias  europeas — , sino  asimismo  de  permitir  que  los  certificados  y 
titulos  profesionales  nacionales  puedan  utilizarse  mas  alia  de  las  fronteras  en  el 
mercado  europeo  del  trabajo». 

* Recomendacion  del  Consejo  de  24  de  septiembre  de  1998  sobre  la  coopera- 
cion  europea  para  la  garantfa  de  la  calidad  en  la  ensenanza  superior. 

Diario  Oficial  n°  L 270  de  07/ 10/1998  P.  0056-0059 

«Se  pide  que  la  Comunidad  contribuya  a ese  esfuerzo  continuo  mediante  el  fomen- 
to  de  la  cooperacion  entre  los  Estados  miembros  y apoyando  y completando  su  action, 
si  fuere  necesario,  y respetando  plenamente,  al  mismo  tiempo,  la  responsabilidad  de 
estos  ultimos  en  lo  que  se  refiere  al  contenido  de  la  ensenanza  y a la  organizacion  de 
los  sistemas  educativos  y de  formacion,  asi  como  su  diversidad  cultural  y linguxstica». 

2.  LA  EVALUACION  DE  PROGRAMAS  DE  FORMACION  UNIVERSITARIA 

La  condicion  fundamental  de  una  institucion  universitaria  es  la  de  su  calidad  y su 
compromiso  de  mejorarla  de  manera  constante.  Cuando  estas  dos  condiciones  estan 
garantizadas,  se  da  una  real  presencia  en  el  tejido  social  a traves  de  los  soportes  de  la 
docencia,  investigation  y extension. 

Como  senala  ASTIN  (1996),  la  evaluacion  es  una  herramienta  potencialmente 
poderosa  para  ayudamos  a construir  un  programa  educativo  mas  eficaz  y eficiente  ya 
que  nos  aporta  estrategias  para  mejorar  el  proceso  de  ensenanza-aprendizaje  al  poner- 
nos  de  manifiesto  las  potencialidades  y debilidades  del  programa  de  formacion. 

La  planificacion,  implementation  y evaluacion  de  un  programa  universitario  impli- 
ca  la  participacion  activa  y coordinada  de  grupos  de  personas  que  deben  desarrollar 
tareas  complejas  interdependientes.  La  comunicacion,  participacion  y negociacion  son 
cuestiones  fundamentales  para  el  exito  del  programa.  Desde  el  punto  de  vista  de  la  psi- 
cologfa  organizacional,  problemas  de  motivation,  confianza,  conflicto  o comunicacion 
pueden  derivar  en  el  exito  o fracaso  del  programa  (REBOLLOSO  Y MORTALE,  1996). 

Cuando  hablamos  de  «evaluacion  de  programas  de  formacion»,  nos  estamos  refi- 
riendo  al  mismo  tiempo  a la  efectividad  y eficiencia  de  los  planes  de  estudio.  El  resul- 
tado  de  la  evaluacion,  en  este  caso  de  programas  de  formacion  universitaria,  es  un 
informe,  a partir  del  cual  se  disenaran  las  nuevas  lfneas  estrategicas  a seguir,  las  pro- 
puestas  de  mejora. 

La  mayorfa  de  los  informes  de  evaluacion,  senalan,  a parte  de  los  aspectos  intrfnse- 
cos  de  cada  institucion  evaluada,  otras  cuestiones  de  caracter  global  entre  las  que  des- 
tacamos  las  siguientes: 

— Promover  una  cultura  sobre  la  funcion  docente  como  un  servicio  social  que 
exige  a las  instituciones  y al  profesorado  plantear,  enfocar  y adaptar  su  trabajo 
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desde  la  perspectiva  de  las  necesidades  sociales  al  margen  de  sus  intereses  aca- 
demicos  personales. 

SOLIMAN  (1984)  encontro  en  sus  estudios  realizados  en  la  Universidad  de 
Australia,  que  los  profesores  valoraban  de  la  misma  manera  la  investigacion 
que  la  ensenanza,  aunque  reconocian  que  la  investigacion  era  una  via  mas  facil 
de  promocion.  Once  anos  mas  tarde,  MASSY  & WILGER,1995,  demuestran  que 
el  personal  academico  considera  mucho  mas  importante  su  funcion  investiga- 
dora  que  su  funcion  docente.  Del  mismo  modo,  MOORE  & GARDNER'S  (1992) 
en  la  Universidad  del  Estado  de  Michigan,  encuentran  que  la  mayoria  de  los 
academicos  dedican  un  35%  a la  docencia,  un  26%  a la  investigacion  y el  resto 
en  otras  actividades,  poniendo  de  manifiesto,  su  interes  en  reducir  el  tiempo 
invertido  en  docencia  y actividades  administrativas. 

— Establecer  mecanismos  de  seguimiento  de  los  graduados  en  su  proceso  de 
insertion  profesional  que  no  solo  nos  informe  sobre  las  expectativas  del  merca- 
do  de  trabajo  sino  que  tambien  actue  como  realimentacion  de  los  perfiles  acade- 
micos y profesionales  de  las  titulaciones. 

— Generar  politicas  de  rationalization  de  los  recursos  materiales  y humanos  dis- 
ponibles  a fin  de  evitar  las  ineficiencias  y disfuncionalidades  observadas. 

— Intensificar  los  convenios  e intercambios  de  la  titulacion  con  el  contexto  social  y 
laboral  proximo  a fin  de  lograr  una  mayor  proyeccion  y vinculacion  de  la  insti- 
tution universitaria  con  la  sociedad. 

El  Libro  Blanco  de  la  Comision  Europea  sobre  «crecimiento,  competitividad  y 
empleo»  (1993)  destacaba  ya  la  «necesidad  en  la  adquisicion  de  competencias  no  espe- 
cializadas,  sino  transversales  y con  cada  vez  mayor  formacion  base».  Del  mismo 
modo,  la  Comunicacion  relativa  a la  evaluacion  de  la  aplicacion  del  Libro  bianco 
«Ensenar  a aprender:  hacia  la  sociedad  cognitiva»  (29  de  mayo  de  1997),  pone  de 
manifiesto  entre  otros  aspectos: 

— Se  considera  que  cualquier  mejora  en  la  education  y la  formacion,  contribuye  a 
reforzar  el  crecimiento  y la  competitividad  de  Europa;  analisis  compartido  por 
todos,  especialmente  por  los  representantes  de  los  empresarios. 

— Se  reconoce  ampliamente  la  necesidad  de  mejorar  la  convergencia  entre  ense- 
nanza general  y profesional,  asi  como  de  valorar  la  formacion  profesional  en  su 
conjunto. 

3.  ANALISIS  DE  ALGUNAS  REALIDADES:  INFORMES  DE  EVALUACION 

A continuation  exponemos  algunos  informes  seleccionando,  de  ellos,  la  informa- 
cion  que  creemos  mas  oportuna  dado  el  proposito  de  nuestra  aportacion: 

— Dentro  de  los  resultados  de  la  Primera  Convocatoria  del  Plan  Nacional  de  Evalua- 
cion de  la  Calidad  de  las  Universidades  llevado  a cabo  por  el  Consejo  de  Univer- 
sidades  de  Espaha,  1997,  se  pone  ya  de  manifiesto  la  disfuncionalidad  de  los  planes 
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de  estudio:»  Existe  una  gran  disparidad  de  criterios  en  relacion  con  la  estructura 
del  programa  formativo  de  cada  titulacion  que  se  pone  de  manifiesto  por  el 
desajuste  entre  la  dimension  teorica  y practica  de  los  planes,  por  la  disparidad  en 
los  indices  de  optatividad,  por  la  configuracion  de  las  materias  de  libre  configura- 
tion, o por  la  falta  de  previsiones  sobre  los  niveles  formativos  previos,  etc...» 

— En  el  mismo  sentido,  el  estudio  llevado  a cabo  por  el  Ministerio  de  Trabajo  y 
Asuntos  Sociales  espanol  y el  Instituto  Nacional  de  Empleo  «E1  Mercado  Labo- 
ral  de  los  Titulados  Universitarios»,  en  1996,  que  sigue  una  linea  de  continuidad 
— en  sus  aspectos  principales — con  otra  publicacion  anterior  del  mismo  titulo 
editada  en  1994,  ofrece  datos  y sugerencias  para  disminuir  la  preocupacion, 
dentro  del  mundo  universitario,  sobre  la  capacidad  real  del  mercado  de  trabajo 
para  poder  absorber  la  gran  cantidad  de  estudiantes  que  cada  ano  se  graduan. 
Tambien  sirve  para  poner  de  relieve  el  grado  de  adecuacion  que  se  esta  produ- 
ciendo  entre  el  sistema  educativo  — y sus  politicas  academicas — y el  tejido 
empresarial.  En  este  sentido,  el  estudio  pone  especialmente  de  manifiesto,  los 
desecjuilibrios  o desajustes  que  se  producen  entre  la  formacion  academica  que  reciben  los 
titulados  y las  exigencias  de  la  oferta  empresarial 

A continuation  se  exponen  otros  casos  practicos  sobre  informes  de  evaluacion  de 
formacion  universitaria: 

• «LA  VISION  DE  LOS  DOCENTES  SOBRE  EL  PLAN  DE  ESTUDIO» 

Hector  Enrique  Tamburini.  FACULTAD  DE  INGENIERlA,  (1996).  Universidad 
Nacional  del  Nordeste  (Argentina). 

— El  documento  constituye  una  de  las  ponencias  referentes  al  «II  Encuentro  Inter- 
facultades  sobre  Evaluacion  de  la  Calidad»  celebrado  durante  el  29  de  febrero  y 1 de 
marzo  en  Resistencia  (Argentina). 

El  analisis  del  Plan  de  Estudio  de  las  carreras  de  ingenieria,  indispensable  en  el 
Programa  de  Cambio  Curricular,  presenta  los  siguientes  resultados: 

PLAN  DE  ESTUDIO 


Carreras 

Responde  a las  necesidades  y demandas  actuates 
de  la  region  y/o  pais? 

sf 

NO 

Ingenie.  En  Construction 

76% 

24% 

Ingenie.  Vias  de  Comunicacion 

61% 

39% 

Ingenie.  Hidraulica 

50% 

50% 

Ingenieria  Civil 

65% 

35% 

Ingiene  Mecanica 

58% 

42% 

Ingenie.  Electromecanica 

81% 

19% 
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En  este  cuadro  podemos  observar  que  el  porcentaje  afirmativo  es  aceptable,  no  obs- 
tante, en  muchos  casos,  los  profesores  consideran  excesivos  los  conocimientos  en 
detrimento  de  otros  importantes,  teniendo  en  cuenta,  los  acelerados  cambios  tecnolo- 
gicos. 

En  cuanto  al  Perfil  Profesional  del  actual  egresado,  el  resultado  muestra  lo  siguiente: 


Carreras 

Perfil  profesional  del  actual  egresado 

Demanda  de  profesionales 
en  su  especialidad 

Formac.  Academica 
insuf.  y/o  no  actualizada 
segun  avances  cientf.-tecnicos 

Suficiente 

Insufic. 

No 

responde 

Sufi- 

ciente 

Insufic. 

No 

responde 

Inenieria  en  Construction 

40% 

43% 

17% 

65% 

30% 

5% 

Ingenie.  Vias  de  Comunicc. 

35% 

50% 

15% 

65% 

30% 

5% 

Ingenieria  Hidraulica 

30% 

40% 

30% 

65% 

30% 

5% 

Ingenieria  Civil 

35% 

45% 

20% 

65% 

30% 

5% 

Ingenieria  Mecanica 

30% 

55% 

15% 

65% 

30% 

5% 

Ingenie.  Electromecanica 

60% 

30% 

10% 

65% 

30% 

5% 

— Con  respecto  al  perfil  profesional  del  actual  egresado,  los  docentes  sostienen  el 
mantenimiento  de  un  perfil  generalista,  con  fuerte  formacion  basica  con  capacidad  de 
ingenio  para  proyectar,  construir  y mantener  todo  tipo  de  obras  civiles,  percibir  los 
cambios,  en  lo  posible  anticiparse  a ellos,  y con  cierta  formacion  humamstica. 

• «INFORME  DE  EVALUACl6N  DE  CALIDAD» 

FACULTAD  DE  ARQUITECTURA.  UNIVERSITY  OF  CAMBRIDGE,  1994. 

Este  informe  refleja  el  resultado  obtenido  tras  el  proceso  de  evaluacion  de  calidad 
llevado  a cabo  en  la  Facultad  de  Arquitectura  de  la  Universidad  de  Cambridge  cuyo 
resultado  es  «Excellent». 

El  diseno  y estructura  del  plan  de  estudios  cuenta  con  una  amplia  variacion  de 
metodos  de  ensenanza,  incluyendo  el  uso  de  lugares  y edificios  reales.  El  volumen  de 
conocimientos  adquirido  es  amplio  y muy  completo,  gracias  a la  labor,  en  profundi- 
dad,  llevada  a cabo  por  el  Departamento  encargado  de  las  materias.  Este  intensivo 
programa  de  estudio  esta  respaldado  por  las  Escuelas  de  Arquitectura  y por  la  avalada 
experiencia  del  personal  involucrado. 

Los  programas  de  estudio  estan  disenados  de  tal  manera  que  se  logre  en  el  estudiante  un  alto 
nivel  de  motivacion  y capacidad  organizativa  para  llevar  a cabo  sus  propios  proyectos  y 
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alcanzar  sus  objetivos  durante  la  carrera.  Para  ello  cuenta  con  una  infraestructura  de 
apoyo  y asesoramiento  permanente,  no  obstante,  como  consecuencia  de  la  indepen- 
dencia  en  las  unidades  de  estudio,  los  objetivos  del  proyecto  de  trabajo  a alcanzar  en 
las  distintas  etapas  de  la  carrera  del  estudiante,  no  estan  claramente  explfcitos  ni 
ampliamente  desarrollados. 

Condusiones  y recomendadones 

Los  resultados,  obtenidos  en  octubre  de  1995  por  el  grupo  de  evaluadores  de  la 
Universidad  de  Cambridge,  basados  en  el  informe  de  evaluation  externo,  en  el  ana- 
lisis  interno  y en  indicadores  estadfsticos,  revelan  que  la  calidad  en  la  education 
recibida  en  la  Facultad  de  Arquitectura  de  la  Universidad  de  Cambridge,  es  «EXCE- 
LLENT». 

Los  objetivos  a alcanzar  en  las  distintas  etapas  del  «proyecto  de  trabajo»  de  los 
estudiantes,  no  estan  muy  definidos,  no  obstante,  se  cuenta  ya  con  una  amplia  diversi- 
dad  en  la  exploration  de  nuevas  ideas  y actitudes  en  el  proyecto  de  trabajo. 

• «THE  MACGILL  UNIVERSITY  VALUE  ENGINEERING  WORKSHOP» 
(Taller  de  Ingenieria  de  la  Universidad  Mcgill). 

FACULTAD  DE  INGENIERlA.  UNIVERSIDAD  McGILL  (EEUU).  1994/95.INCE 
THOMSON. 

El  Departamento  de  Ingenieria  Mecanica  de  la  Universidad  de  Mcgill  trabajo  en  un 
curso  practico  «Value  ingeneering»  durante  los  pasados  22  anos,  donde  la  coopera- 
cion  industria-universidad  es  unica. 

Este  es  el  unico  curso  universitario  donde  compamas  representativas  en  el  sector  se 
sientan  junto  a estudiantes  de  ingenieria  mecanica  para  resolver  sus  problemas  en 
comun. 

La  companfa  expone  un  problema  de  la  vida  real  que  los  estudiantes  trataran  de 
resolver,  a traves  de  sus  proyectos,  de  los  cuales  uno  sera  seleccionado  por  la  compa- 
nfa para  ser  llevado  a la  practica. 

Las  sesiones  se  llevaron  a cabo  durante  cinco  dfas  a lo  largo  de  Cinco  semanas,  acu- 
mulando  un  total  de  40  horas.  Adicionalmente  habfa  una  sesion  practica  final  para  la 
presentation  de  los  proyectos.  El  curso  estaba  tutelado  por  un  profesor  especialista  y 
de  avalada  experiencia,  perteneciente  al  Departamento  de  Ingenieria  Mecanica,  y por 
un  grupo  de  expertos  que  comparten  sus  largos  anos  de  experiencia  profesional  con  el 
grupo  de  estudiantes,  aplicando  los  metodos  de  ingenieria  en  la  resolution  de  proble- 
mas. 

Comentarios  del  personal  Participante: 

«Nosotros  llevamos  a cabo  el  proceso  de  venta  del  proyecto  durante  cinco  anos. 
Esto  nos  convirtio  en  la  mayor  companfa  en  este  tipo  de  negocios  de  Norte  American 
(Presidente,  Air-dryin  equipment  manufacturer). 
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— «E1  mejor  curso  que  he  realizado.  Realmente  valoro  la  experiencia  adquirida  tra- 
bajando  en  el  proyecto  de  industrial  (estudiante  que  ha  terminado  el  curso). 

— «Me  he  divertido  mucho  trabajando  con  los  estudiantes.  Una  gran  experiencia. 
La  sensacion  de  que  entra  mucha  energia  en  esto».  (Personal  especializado). 

«EVALUACI6n  DE  LOS  PLANES  DE  ESTUDIO» 

FACULTAD  DE  HUMANIDADES  DE  LA  UNNE  (Universidad  Nacional  del 
Nordeste.  Argentina).  Diciembre  de  1995.  Patricia  Nunez  de  Uberti  y Sonia  Ale- 
xandra Zidianakis. 

El  presente  documento  constituye  otra  de  las  ponencias  celebradas  durante  el  «II 
Encuentro  Interfacultades  sobre  Evaluacion  de  la  Calidad»  en  la  ciudad  de  Resistencia 
(Argentina). 

La  Facultad  de  Humanidades,  estuvo  desarrollando  un  proceso  de  autoevaluacion, 
que  en  esta  ocasion  tenia  como  tema  de  analisis,  la  evaluacion  de  los  planes  de  estu- 
dio.  En  este  aspecto,  los  propositos  institucionales  evaluados  se  referian  a: 

1.  Necesidad  de  la  carrera  y pertinencia  de  los  planes  de  estudio. 

2.  Calidad  de  la  formacion  brindada  a los  alumnos. 

Para  evaluar  los  propositos  se  analizaron  las  condiciones  existentes  e inexistentes, 
que  se  estimaban  necesarias  para  el  nivel  de  logro  optimo  de  los  mismos. 

El  primer  proposito  era:  «Ofrecer  carreras  que  por  su  nivel  y contenido,  satisfagan 
reales  necesidades  emergentes  de  las  demandas  sociales,  cientificas,  economicas  y cul- 
turales  de  la  region,  del  pais  y de  los  proyectos  y politicas  de  desarrollo  y crecimiento 
que  se  promuevan». 

Para  evaluar  su  nivel  de  logro  se  consideraron  dos  aspectos: 

— Necesidad  de  la  carrera  en  el  medio,  observada  a traves  del  nivel  de  absorcion  de 
los  egresados.  Para  ello  se  realizaron  encuestas  a directivos  de  establecimientos 
secundarios,  estatales  y privados  e Institutos  Terciarios,  y egresados  de  todas  las 
carreras  de  la  Facultad. 

; — Pertinencia  de  los  planes  de  estudio,  lo  que  se  percibe  por  la  formacion  de  com- 
petencias  necesarias  para  el  futuro  desempeno  profesional.  Para  el  analisis  de 
cada  plan  se  considero  su  marco  directriz  (propositos,  avances  del  conocimiento 
cientifico,  inclusion  de  todas  las  competencias  profesionales  necesarias),  y las 
areas  curriculares  que  lo  integran. 

Las  estrategias  utilizadas  para  este  analisis  fueron:  reuniones  por  Departamentos,  y 
encuestas  a docentes,  egresados  y alumnos. 

El  segundo  proposito  expresaba:  «Posibilitar  que  todos  los  alumnos,  al  concluir  los 
estudios  de  grado,  alcanzasen  los  maximos  niveles  de  logro  y capacidades  posibles  en 
los  diversos  aspectos  que  configuran  una  formacion  de  calidad».  Esta  calidad  estaria 
definida  por  el  desarrollo  de  competencias  en  el  conocimiento  disciplinar,  en  los  sabe- 
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res  y practicas  para  el  desempeno  profesional,  en  la  investigation  y en  lo  relacionado 
con  su  adaptation  a las  demandas  sociales  y culturales. 

Resultados  obtenidos 

Como  sfntesis  de  la  evaluation  de  la  Facultad,  en  relation  con  los  propositos  men- 
cionados,  se  destaco: 

* Suficiencia  de  ambitos  de  absorcion  de  egresados  de  la  Facultad,  segun  una  pri- 
mera  aproximacibn  realizada,  en  carreras  como  Profesorados  de  Letras,  Filoso- 
ffa,  Historia  y Geograffa. 

* Adecuacion  relacion  alumno-docente  (un  promedio  de  26  alumnos  por  docente). 

* Adecuada  cantidad  de  docentes  en  los  equipos  de  las  catedras. 

* Adecuada  participation  de  los  equipos  docentes. 

* Adecuada  actualization  de  los  contenidos  curriculares. 

* «identificaci6n  de  estudiantes  en  riesgo  de  uso  de  estra- 

TEGIAS  INEFICACES  DE  ESTUDIO» 

UNIVERSITY  OF  EDINBURGH.  CENTRE  FOR  RESEARCH  ON  LEARNING 
AND  INSTRUCTION.  1996.  H.  TAIT  & ENTWISTLE 

Existfa  evidencia  por  parte  de  varios  estudios  de  que  el  inadecuado  progreso  y 
abandono  de  estudios,  sobre  todo  durante  el  primer  ano  de  universidad,  se  debia  a la 
carencia  y/o  inadecuado  desarrollo  de  estrategias  y habilidades  de  estudio  apropia- 
das  por  parte  del  alumno. 

En  recientes  estudios,  se  pregunto  al  personal  de  universidad  y colegios  de  educa- 
tion superior,  sobre  programas  de  asesoramiento  y entrenamiento  en  la  adquisicion  de 
habilidades  dirigidas  al  estudiante;  estos  respondfan  que  lo  logico  era  que  los  estu- 
diantes que  accedfan  a la  universidad  estuvieran  ya  lo  suficientemente  cualificados 
como  para  realizar  estudios  superiores. 

En  un  reciente  documento  desarrollado  por  personal  academico,  se  proponia  que 
las  instituciones  deberfan  crear  un  plan  general  sobre  habilidades  de  estudio  que  deja- 
ra  fuera  de  esta  responsabilidad  a la  institucion,  facultad  y departamentos.  La  infor- 
macion  provista  en  dicho  plan,  serfa  discutida  por  los  tutores  de  cada  asignatura,  por 
una  parte  para  hacerla  mas  inteligible,  pero  tambien  para  ofrecer  consejos  sobre  aspec- 
tos  especfficos  referentes  a materias  o cursos  concretos. 

En  este  estudio,  realizado  en  la  Universidad  de  Edinburgh,  se  utilizaron  dos  siste- 
mas  de  recopilacion  de  datos:  por  una  parte  se  realizaron  cuestionarios  e inventarios 
con  items  especfficos  para  el  proposito  del  proyecto,  y por  otra  parte  se  utilizo  un 
programa  informatizado  disenado  para  que  los  estudiantes  lo  utilizaran  de  manera 
individual  y completaran  asf  el  inventario,  y al  mismo  tiempo  servirfa  para  la  recopi- 
lacion, en  una  clase  completa,  de  datos  con  informacion  para  identificar  aquellos 
alumnos  con  debilidades  en  su  metodo  de  estudio  y que  por  lo  tanto  necesitarfan 
ayuda. 
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Para  evitar  que  se  formara  la  creencia  de  que  existe  una  sola  forma  correcta  de  res- 
puesta  a las  cuestiones,  el  « study  Ad  visor » aconsejo  tener  en  cuenta  que  el  metodo  de 
estudio  utilizado  depende  tanto  del  propio  estudiante  como  del  curso  o area  de  estu- 
dio  de  que  se  trate. 

Conclusion: 

El  asesoramiento  hasta  ahora  ofrecido  a los  estudiantes,  en  la  adquisicion  de  habili- 
dades  de  estudio,  ha  sido  criticado  y nada  efectivo,  sobre  todo  porque  aparece  normal- 
mente  como  un  anexo  carente  de  importancia  de  los  estudios  a realizar.  Para  que  dicho 
asesoramiento  fuera  efectivo,  en  primer  lugar  habrfa  de  ser  motivador  para  el  alumno, 
ser  presentado  como  una  parte  esencial  del  curso  y al  que  puede  acudir  en  cualquier 
momento. 

Sin  embargo,  esto  solo  es  posible  si  el  personal  academico  esta  lo  suficientemente 
familiarizado  con  el  tipo  de  asesoramiento  que  debe  dar.  Por  lo  tanto,  no  hay  que  olvi- 
dar  que  instituciones,  facultades  y departamentos  son  igualmente  responsables  de 
ofrecer  ayuda  a los  estudiantes  que  lo  necesiten. 

El  programa  informatizado  llevado  a cabo  en  este  estudio,  ayudarfa  al  personal 
academico  a identificar  a los  estudiantes  que  pueden  necesitar  ayuda,  pero  los  estu- 
diantes por  su  parte,  han  de  acostumbrarse  a utilizar  el  Study  Advisor,  no  solo  una  vez 
sino  regularmente. 

En  muchos  lugares,  el  mismo  personal  academico,  puso  de  manifiesto  que  era 
necesario  no  solo  reforzar/reformar  los  programas  de  orientation,  sino  tambien  los 
programas  de  formation,  para  lograr  que  los  estudiantes  desarrollasen  el  valor  poten- 
cial  que  supone  la  mejora  de  sus  habilidades  de  estudio. 

• «EXIGENCIAS  DEL  TRABAJO  UNIVERSITARIO  DESDE  LA  PERSPECTIVA 
DE  ALUMNOS  Y PROFESORES  BIEN  EVALUADOS» 

UNIVERSIDAD  DE  SEVILLA.  CURSO  1998/99.  Informe  2000. 

Profs:  Victor  Alvarez  Rojo,  Eduardo  Garcia  Jimenez,  Javier  Gil  Flores  y Soledad 
Romero  Rodriguez. 

El  estudio  refleja  las  exigencias  encontradas  en  una  investigation  realizada,  duran- 
te el  curso  98  / 99,  con  profesores  y alumnos  bien  valorados  de  la  Universidad  de  Sevi- 
lla y con  una  muestra  extraida  del  conjunto  de  los  docentes  y discentes  de  esa 
universidad. 

En  este  trabajo  se  presto  especial  atencion  a las  opiniones  que  profesores  y estu- 
diantes tienen  sobre  los  factores  que  afectan  al  rendimiento  discente. 

La  progresiva  implantation  de  nuevos  planes  de  estudios  en  la  practica  totalidad 
de  las  universidades  y titulaciones,  ha  significado  en  general  un  incremento  de  la 
dedication  y de  la  cuota  de  trabajo  personal  de  los  alumnos. 

En  este  marco  de  referenda,  el  exito  del  alumno  dependera  en  gran  medida  de  su 
capacidad  para  adaptarse  a las  exigencias  academicas  universitarias  y de  los  metodos 
de  trabajo  con  los  que  aborda  el  estudio  de  las  diferentes  materias. 
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De  acuerdo  con  esta  idea,  los  expositores  arriba  mencionados  desarrollaron  el 
siguiente  estudio,  cuyos  objetivos  fueron  identificar  las  principales  exigencias  acade- 
micas  que  se  plantean  a los  alumnos  universitarios. 

A partir  de  las  opiniones  y experiencias  personales  reveladas  por  alumnado  y pro- 
fesorado,  se  obtuvieron  una  serie  de  dimensiones  o categorias  a cerca  de  las  habilida- 
des,  capacidades  o actitudes  que  exige  el  trabajo  universitario. 

De  la  informacion  extraida  se  puede  concluir  que  estudiar  en  la  universidad  implica 
una  serie  de  requerimientos  basicos  (en  la  que  profesores  y alumnado  coinciden): 

1 . Manejo  de  conocimientos: 

— Adquirir  / manipular  a niveles  basicos  los  contenidos  del  temario  impartidos 
por  el  profesor:  recuerdo  y relation  con  otros  conocimientos. 

— Planificar  y realizar  trabajos  (monograficos,  sobre  temas  de  clase,  etc.) 

2.  Desarrollo  de  habilidades  generates: 

— Capacidad  de  razonar  y de  expresarse  de  palabra  y por  escrito. 

— Capacidad  para  analizar  crfticamente  la  realidad. 

— Capacidad  para  obtener  informacion  de  forma  autonoma:  en  centros  de  docu- 
mentation o de  los  propios  profesores. 

3.  Desarrollo  de  Actitudes: 

— Vocation  ante  una  profesion  o campo  profesional. 

— Motivation,  dedication  y responsabilidad  respecto  a lo  que  es  el  trabajo  diario 
de  un  estudiante. 

— Organization  del  estudio. 

Conclusion: 

Es  necesaria  una  reforma  en  cuanto  a los  programas  de  orientacion  universitaria  se  refie- 
re.  Esto  implica  necesariamente  dos  primeros  aspectos: 

— La  necesidad  de  desmitificar  las  caracterfsticas  de  una  accion  orientadora  en  la 
universidad. 

Dicha  accion  es  muy  similar  a la  del  nivel  educativo  anterior  (secundaria). 

— Se  desprende  de  estos  mismos  datos  que  la  orientacion  universitaria  no  puede  plan- 
tearse  sin  tener  en  cuenta  a los  profesores.  No  sera  posible  orientar  a los  estudiantes 
para  un  aprendizaje  «diferente»,  «para  acudir  a la  universidad  con  otras  espec- 
tativas»...si  no  se  orienta  simultaneamente  al  profesorado  para  que  ensene  y 
exija  cosas  distintas  a las  tradicionales. 
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4.  CONCLUSIONES 

La  funcion  esencial  de  la  evaluacion,  en  el  aspecto  que  nos  preocupa,  es  la  mejora 
de  las  realidades  a las  que  se  aplica,  (PfiREZ  JUSTE  1997),  pero  puede  y debe  generar 
una  compresion  mas  profunda  del  objeto  o campo  especifico  al  que  hace  referencia 
una  intervencion,  lo  cual  significa  que  nos  aporta  «conocimientos»  y,  en  esa  medida 
contribuye  al  progreso  cientifico,  (DE  MIGUEL  1999).  Cabe  por  tanto  considerar  que 
uno  de  los  objetivos  fundamentals  de  todo  proceso  evaluativo  — independientemen- 
te  de  donde  se  lleve  a cabo — sea  mejorar  la  realidad  donde  se  aplica  y generar  la 
comprension  y explication  de  los  problemas  sociales  de  la  misma,  lo  cual  significa 
resaltar  la  dimension  investigadora  implicita  en  toda  evaluacion  (CHELIMSKY,  1997) 
haciendo  un  esfuerzo  por  clarificar  las  relaciones  entre  las  necesidades  sociales  y las 
soluciones  propuestas,  entre  la  teoria  que  justifican  los  programas  y los  disenos  que  se 
formulan,  entre  la  logica  que  se  utiliza  para  su  implementation  y el  contexto  real  de  la 
intervencion. 

La  docencia  no  siempre  facilita  la  comprension  del  funcionamiento  de  los  proble- 
mas globales  que  tiene  el  mundo,  ni  prepara  adecuadamente  y de  una  forma  util  y 
practica  para  la  vida. 

— Si  uno  de  los  objetivos  fundamentales  de  la  Universidad  es  preparar  al  estudian- 
te  para  su  incorporation  al  mercado  laboral,  a una  sociedad  en  continuo  proceso  de 
transformation,  a una  multiculturalidad,  a la  internationalization  de  la  oferta  y la 
demanda,  etc.,  es  la  misma  Universidad  la  primera  que  ha  de  captar  todo  lo  que  ocu- 
rre  fuera  para  tomar  las  medidas  necesarias  de  adaptation  y transmision  a los  estu- 
diantes.  Esto  implica  una  revision  continua  de  los  Programas  de  Formacion,  entendidos 
como  finalidad  de  los  procesos  evaluativos. 

— Al  hablar  de  Programas  de  Formacion,  desde  un  punto  de  vista  didactico,  enten- 
demos  que  dicha  formacion  no  solo  se  refiere  a la  asimilacion  de  unos  contenidos  que 
mayoritariamente  son  teoricos,  sino  que  dicha  formacion  ha  de  suponer  la  adquisicion 
de  capacidades  y competencias,  lo  que  implica  aumentar  la  formacion  en  entornos 
naturales-reales. 

— Estas  capacidades  y competencias  deben  ser  concretas,  especificas  de  una  materia 
o -titulacion  determinada,  desarrolladas  dentro  de  un  buen  programa  de  formacion 
teorico-practico  y tambien,  deben  globales-transversales  es  decir,  aquellas  que  preparan 
en  aspectos  mas  generales  pero  de  vital  importancia  para  el  desarrollo  de  la  carrera 
como  pueden  ser:  conocimientos  informaticos,  movilidad  intercultural,  actitudes  y 
capacidades  para  asumir  responsabilidades  y tomar  decisiones,  etc. 

Para  ello  nos  atrevemos  a formular  algunas  propuestas  de  mejora  que  entre  otra 
muchas  podrian  ser: 

— Desarrollar  estudios  sobre  las  demandas  del  medio  en  relation  con  las  ofertas 
academicas  de  la  Universidad  teniendo  en  cuenta  las  demandas  del  ambito  pro- 
ductive para  orientar  los  cambios. 
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— Ofrecer  programas  de  formacion  practica  que  esten  actualizados  y fomentar  la 
colaboracion  Universidad/Empresa  en  todas  las  titulaciones. 

— Fomentar  los  intercambios  y cooperation  interuniversitaria,  tanto  a nivel  nacio- 
nal  como  internacional,  asi  como  en  cursos  de  grado,  posgrado  y practicas 
profesionales  en  orden  a la  perception  directa  de  la  homologation  de  la  cualifi- 
cacion  profesional  de  los  titulados  en  otros  paises. 

— Antes  de  iniciar  la  implementation  de  cualquier  programa  es  conveniente  estu- 
diar  las  circunstancias  concretas  del  contexto  educativo  en  el  que  se  va  desarro- 
llar  y del  contexto  sociolaboral  como  referente  potencial. 

— Fomentar  el  desarrollo  de  programas  de  orientacion  adoptando  modelos  que  se 
constituyan  en  sistemas  de  orientacion  distribuidos  a lo  largo  y ancho  de  la 
estructura  organica  de  la  propia  universidad  en  donde  las  funciones  de  orienta- 
cion se  corresponsabilicen  entre  los  gabinetes  de  orientacion  universitarios,  cen- 
trales y de  cada  centro,  los  departamentos,  el  profesorado  y demas  personal 
antes,  durante  y despues  de  la  realization  de  los  estudios  universitarios. 

— Proporcionar  a los  estudiantes  estrategias  y habilidades  generales  para  el 
empleo,  su  adaptacion  y promotion,  asi  como  el  conocimiento,  exploration  y 
toma  de  decisiones  en  relation  a la  carrera  (proceso  formativo  de  la  persona  a lo 
largo  de  su  vida). 

Es  interesante  mencionar,  para  terminar,  la  adoption  de  modelos  educativos  que 
potencien  la  Transferencia  del  aprendizaje  con  vistas  a conseguir  una  integration  entre 
lo  academico  y lo  profesional. 

LA  UNIVERSIDAD  DEL  FUTURO 

«Cuando  se  encuentre  en  los  albores  de  su  segundo  milenio  la  universidad,  en  tanto  que 
entidad  corporea,  no  se  parecera  mucho  a lo  que  hasta  hoy  ha  sido  si,  verdaderamente  continua 
existiendo  de  forma  reconocible».  (Gerhard  Casper,  Presidente  de  la  Universidad  de  Stan- 
ford. 1995. 

La  Universidad  no  puede  mantenerse  al  margen  de  un  entomo  que  se  encuentra  en 
constante  evolucion  y transformation,  esto  crea  la  necesidad  de  un  replanteamiento 
pedagogico  cada  vez  mas  abierto.  Pero,  si  como  dice  Barnett,  1997,  la  universidad  esta 
inmersa  en  una  sociedad  que  requiere  un  continuo  reajuste,  lo  cual  parece  bastante 
estresante,  la  posibilidad  de  establecer  un  equilibrio  (en  cuanto  a programas  de  forma- 
cion, orientacion,  planes  de  estudio,  practicas...),  es  cuando  menos  dificil. 

De  las  aportaciones  del  profesor  RODRIGUEZ  DI^GUEZ,  A.  (2000),  se  deduce  la 
necesidad  de  intentar  desarrollar  un  modelo  formativo  impartido  desde  y en  la  uni- 
versidad que  promueva  un  tipo  de  competencias  basicas,  impregnadas  de  un  compo- 
nente  critico.  Su  finalidad  sera  facilitar  en  los  estudiantes  una  cierta  relativizacion 
dirigida  a asumir  la  flexibilidad  suficiente,  para  estar  abiertos  a la  innovation  y el 
avance  cientffico,  consiguiendo  un  reajuste  y adaptacion  constantes,  ante  una  sociedad 
en  permanente  evolucion. 
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La  demanda  explicita  a la  universidad,  por  parte  de  las  instituciones  sociales  en  las 
cuales  se  integraran  los  futuros  profesionales  ,se  concreta  no  tanto  en  un  conocimiento 
excesivamente  focalizado  y especializado,  sino  mas  especialmente  en  el  desarrollo  de 
competencias  relativas  a saber,  saber  ser,  saber  estar,  saber  aprender;  competencias  estas 
que  en  opinion  de  ECHEVERRlA  (1997)  raramente  se  potencian  en  la  universidad  sino 
es  a traves  de  una  perspectiva  orientadora  de  la  formation. 

Esta  tendencia,  no  solo  implica  una  renovation  en  las  instituciones,  sino  que  obliga 
al  individuo  a auto-reformarse  permanentemente  o mejor  aun  a formarse  a lo  largo  de 
toda  la  vida.  Esto  nos  lleva  a la  idea  de  «estudiante  independiente,  con  un  sistema  de 
aprendizaje  autonomo». 
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NUEVASTENDENCIAS  EN  LA  EVALUACION  DE 
PROGRAMAS  DE  EDUCACION  MULTICULTURAL 


RESUMEN 

El  arti'culo  recoge  una  aproximacion  a las  diversas  tendencias  de  investigacion  evaluativa 
que  son  especialmente  utiles  en  la  evaluacion  de  programas  de  educacion  multicultural.  Aun- 
que  los  modelos  aqui  presentados  tienden  a desarrollarse  desde  una  perspectiva  cualitativa,  el 
acento  se  sitiia  en  su  potencial  para  responder  a las  necesidades  que  aparecen  en  la  evaluacion 
de  programas  sociales  y,  en  concreto,  en  la  evaluacion  de  programas  educativos  multiculturales. 
Se  parte,  por  tanto,  de  un  breve  analisis  de  estas  necesidades  para,  posteriormente,  centrarse  en 
el  estudio  de  algunos  posibles  modelos  que  intentan  responder  mas  adecuadamente  a esas  nece- 
sidades. El  articulo  presenta  cuatro  de  ellos:  la  evaluacion  participativa,  la  evaluacion  democra- 
tica  y deliberativa,  la  evaluacion  colaborativa  y la  evaluacion  de  programas  basados  en  la 
comunidad.  Los  materiales  ban  sido  recogidos  de  la  literatura  sobre  el  tema  y,  especialmente,  de 
la  experiencia  en  evaluacion  de  programas  multiculturales  de  las  autoras.  Finalmente,  desarro- 
lla  con  mas  amplitud  el  estudio  del  «empowerment»  como  estrategia  de  evaluacion  en  educa- 
cion intercultural,  presentando  un  ejemplo  de  aplicacion  de  dicha  estrategia  en  una  evaluacion 
de  programa. 

ABSTRACT 

The  article  brings  together  a number  of  the  different  approaches  to  evaluative  research 
which  have  been  found  to  be  particulary  useful  in  the  evaluation  of  multicultural  education 
programs.  While  the  models  presented  here  have  the  common  feature  that  they  are  developed 
from  a qualitative  perspective,  emphasis  is  placed  in  their  potential  in  responding  to  those  needs 
which  appear  in  the  evaluation  of  social  programmes,  and  in  particular  in  the  evaluation  of 
multicultural  education  programmes.  The  starting  point  is  a brief  analysis  of  these  needs  which 
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is  followed  by  a study  of  some  possible  models  which  try  to  offer  a more  adequate  response  to 
these  needs. 

Four  such  models  are  presented:  participative  evaluation,  democratic  and  deliberative  eva- 
luation, collaborative  evaluation  and  the  evaluation  of  community  based  programmes.  The 
materials  used  are  drawn  from  a wide  variety  of  literature  related  to  the  theme,  and  especially 
from  our  own  experience  in  multicultural  programme  evaluation. 

Finally,  this  article  provides  a fuller  development  of  the  study  of  « empowerment » as  an  eva- 
luation strategy  in  intercultural  education  and  at  the  same  time  offers  an  example  of  the  appli- 
cation of  this  strategy  in  a programme  evaluation. 


DEL  DIAGNOSTICS  DE  LA  REALIDAD  EDUCATIVA  MULTICULTURAL  A LA 
EVALUACION  DE  PROGRAMAS 

Desde  hace  algunos  anos  se  han  sucedido  en  nuestro  pais  los  informes  diagnosticos 
de  la  realidad  educativa  tal  y como  se  veriia  desarrollando  en  contextos  multicultura- 
les.  Muchos  de  ellos  han  sido  llevados  a cabo  con  la  cobertura  economica  del  CIDE  y a 
ellos  remitimos  (Varios,  1997).  Otros,  han  ido  apareciendo  en  la  decada  pasada  como 
apoyo  importante  a un  planteamiento  alternativo  que  incorporara  adecuadamente 
esta  dimension  en  la  vida  de  las  instituciones  educativas  y en  su  planificacion  curricu- 
lar (Vease,  por  ejemplo:  Siguan,  1998;  Carbonell  (Coor);  2000).  Al  contrastar  el  desa- 
rrollo  de  la  realidad  educativa  con  los  modelos  de  educacion  multicultural  prevalentes 
en  Europa,  estos  informes  nos  permiten  apreciar  y valorar  indirectamente  las  politicas 
publicas  que  se  han  ido  estableciendo  en  las  diversas  autonomias.  Sus  caracteristicas 
metodologicas  son  muy  distintas.  Utilizan  estudios  de  campo  extensos  a traves  de  la 
investigacion  por  encuesta,  pero  tambien,  y cada  vez  con  mayor  frecuencia,  aportan 
etnografias,  o recogen  information  a traves  de  grupos  de  discusion. 

No  hay  duda  de  que  se  precisan  todavia  investigaciones  cuidadas  que  recojan  la  eva- 
luation de  las  politicas  publicas  en  esta  materia  en  nuestro  pais.  De  Miguel  (1999:  137- 
161)  ha  desarrollado  un  trabajo  sobre  esta  area,  desde  la  perspectiva  del  evaluador 
externo,  analizando  algunos  de  los  problemas  que  con  mayor  frecuencia  pueden  apare- 
cer.  En  realidad,  lo  que  falta  en  general  es  una  clara  definicion  de  politicas  publicas  en  el 
terreno  de  la  educacion  multicultural,  articuladas  dentro  de  un  programa  mas  amplio  de 
caracter  interdisciplinar.  EL  Pla  Interdepartamental  D'lnmigracio,  aprobado  por  la 
Generalitat  de  Catalunya  en  1995  y evaluado  en  1998,  podria  ir  en  esa  direccion.  Dentro 
del  mismo,  podemos  apreciar  el  papel  que  se  le  ha  concedido  al  Programa  de  Educacion 
Compensatoria,  encargado  en  esa  Autonomia,  durante  estos  anos,  de  llevar  adelante  el 
apoyo  logistico  al  alumnado  «en  riesgo»1  en  el  que  se  situaban  las  minorfas  culturales. 


1 Sobre  la  importancia  del  lenguaje  en  los  procesos  evaluativos  y en  concreto,  sobre  la  expresion 
«jovenes  en  riesgo»  puede  leerse  un  excelente  articulo  de  Madison  (2000)  Language  in  defining  Social  Pro- 
blems and  in  Evaluating  Social  Programs.  New  Directions  for  Evaluation.  N°  86  pp.  17-28.  Este  termino  asocia 
la  multiculturalidad  a una  situacion  problematica,  soslayando  la  riqueza  que  supone. 
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Sin  embargo,  en  este  articulo  hemos  preferido  centrarnos  en  algunos  modelos 
actuales  para  la  evaluacion  de  programas  en  educacion  multicultural.  En  efecto,  a fina- 
les de  los  90  se  experimentaba  un  cierto  cansancio  en  relacion  con  los  estudios  diag- 
nostics. Tanto  el  profesorado  como  las  personas  interesadas  en  el  tema  procedentes 
de  otros  sectores  socio-formativos,  advertfan  la  necesidad  de  trabajar  programas  concre- 
tos,  innovadores,  que  permitieran  dar  respuestas  a los  problemas  educativos  hallados 
en  contextos  multiculturales.  Esta  actividad  trae  consigo  la  busqueda  de  modelos  de 
evaluacion  de  programas  que  resulten  especialmente  utiles  en  esta  etapa  inicial  de  su 
desarrollo. 

Es  importante  situar  estos  modelos  en  el  contexto  concreto  en  el  que  se  van  a apli- 
car.  Desde  nuestra  experiencia  en  evaluacion  de  programas,  hemos  podido  obser- 
var  que  los  disenos  de  evaluacion  de  programas,  como  los  procesos  de 
investigation  action,  van  requiriendo  modificaciones  en  funcion  de  las  personas 
que  toman  parte  en  ellos,  de  las  audiencias  a las  que  se  dirigen,  de  las  instituciones 
en  los  que  se  aplican,  y del  mismo  tipo  de  programas.  Las  necesidades  van  cam- 
biando  y,  con  ellas,  tambien  la  utilidad  o conveniencia  de  utilizar  uno  y otro  mode- 
lo  de  evaluacion. 

NUEVAS  NECESIDADES  SUPONEN  NUEVOS  MODELOS 

Vamos  ahora  a presentar,  sin  animo  de  ser  exhaustivas,  algunas  de  esas  necesida- 
des, que  han  sido  recogidas  analizando  la  literatura  sobre  el  tema  y,  muy  especialmen- 
te nuestra  propia  experiencia. 

• Los  diferentes  tipos  de  programas  orientan  la  eleccion  del  modelo  de  evalua- 
cion de  programas.  Shwartz  (2000)  y Burnett,  (2000)  nos  presentan  una  clasifi- 
cacion  similar  de  tipos  de  programas  en  educacion  intercultural:  Los  que 
focalizan  la  information;  los  que  focalizan  como  los  escolares  aprenden  y los 
que  tienen  una  orientacion  claramente  social  (basados  en  las  relaciones  huma- 
nas,  en  las  habilidades  de  pensamiento  critico  frente  al  racismo  o en  el  aprendi- 
zaje  cooperative,  por  poner  algunos  ejemplos).  Ahora  bien,  los  programas  de 
orientacion  social  van  a tener  implicaciones  organizativas  e institucionales, 
junto  al  cambio  de  actitudes  y practicas,  que  exigen  la  participation  mas  inten- 
siva  de  la  comunidad  de  referenda.  Los  modelos  participativos  y basados  en  la 
comunidad  seran  mas  adecuados  para  asegurar  una  mayor  incidencia  del  pro- 
ceso  formativo. 

• La  novedad  y desconocimiento  del  tema,  por  parte  de  los  educadores  y educa- 
doras  supone  incluir  la  dimension  formativa  como  un  elemento  clave  que 
acompaiia  todo  el  proceso.  Esto  es  especialmente  importante  en  los  momentos 
iniciales,  cuando  apenas  esta  creada  la  sensibilidad  hacia  la  educacion  intercul- 
tural, por  ejemplo,  entre  quienes  han  de  aplicar  el  programa.  Estudiar  que 
modelo  formativo  resulta  mas  util  para  conducirlo  con  exito,  ha  constituido  una 
de  las  cuestiones  clave  en  nuestras  investigaciones  evaluativas  (Bartolome,  coor. 
1998).  La  evaluacion  colaborativa,  puede  favorecer  esta  formation. 
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• El  cambio  de  actitudes  en  los  propios  educadores  implica  procesos  autorreflexi- 
vos  y transfonnadores.  En  ese  sentido,  las  estrategias  que  se  han  utilizado  para 
la  investigacion  accion  resultan  sumamente  esclarecedoras.  De  ahf  el  auge  de  la 
evaluacion  participativa  en  la  actualidad. 

• Los  programas  educativos  multiculturales  han  de  articularse  con  un  proyecto 
social  mas  amplio  que  le  sirve  de  referenda.  Precisamente  algunos  de  los  fraca- 
sos  que  hemos  constatado  al  intentar  actuar  en  poblaciones  escolares  pertene- 
cientes  a comunidades  con  grupos  enfrentados  de  diferente  origen  socio-etnico, 
se  deben  a no  haber  incluido  en  el  diseno  del  programa  ni  en  su  evaluacion  la 
intervention  activa  de  la  comunidad  de  referenda.  La  evaluacion  de  programas 
basada  en  la  comunidad  evitarfa  estos  fracasos. 

• La  evaluacion  de  programas  puede  hacer  emerger  con  mas  fuerza  conflictos  laten- 
tes  o procesos  encubiertos  de  fragmentacion  social.  Asegurar  la  inclusion  de 
todos  los  grupos  constituye  uno  de  los  retos,  junto  a los  procesos  de  reflexion  y 
autocrftica.  La  evaluacion  democratica  y deliberativa  puede  ser  un  buen  camino. 

• La  diferencia  cultural  estd  vinculada  en  ocasiones  a la  desigualdad  social.  Al 
trabajar  sobre  poblaciones  asimetricas  en  poder,  influencia,  prestigio  y estatus 
sorial  etc  necesitamos  desarrollar  procesos  que  favorezcan  una  mayor  autono- 
mia  y desarrollo  de  habilidades  de  los  grupos  menos  favorecidos.  El  «empower- 
ment»  como  estrategia  de  evaluacion  resulta  de  extraordinaria  utilidad  para 
ello. 

• Los  programas  trabajan  con  grupos  de  poblacion  cuyo  lenguaje  y cultura  pue- 
den  diferir  de  la  del  equipo  evaluador.  Desde  luego  se  impone  mas  que  nunca  el 
autocontrol  sobre  los  posibles  sesgos  que  podemos  introducir  las  personas  eva- 
luadoras.  Tambien  hacen  falta  enfoques  mas  cualitativos  en  la  evaluacion  de 
programas  que  favorezcan  la  comprension  de  lo  que  ocurre  desde  el  punto  de 
vista  de  los  y las  implicados.  En  cuanto  al  propio  lenguaje  de  la  evaluacion,  es 
preciso  estudiar  la  forma  de  verter  los  resultados  de  la  misma  en  el  lenguaje  de 
las  polfticas  publicas  a fin  de  que  puedan  ser  incorporados  en  los  procesos  de 
toma  de  decisiones.  Hay  que  tener  en  cuenta  que  el  lenguaje  habitual  de  las 
polfticas  sociales  es  el  lenguaje  de  los  grupos  dominantes.  Pero  el  evaluador 
puede  luchar  por  impedir  el  mantenimiento  de  esa  situation  introduciendo  con- 
ceptos  alternatives  que  favorezcan  a las  minorfas  culturales.  (Madison,  2000  y 
Cabatoff,  2000) 

Se  nos  abre  pues,  un  abanico  de  posibilidades  y sugerencias  que  desborda  amplia- 
mente  el  margen  de  este  trabajo2.  Vamos,  sin  embargo,  a asomarnos  a algunos  de  los 
modelos  de  evaluacion  apuntados,  deteniendonos  posteriormente  en  una  de  las  estra- 


2 Algunas  de  las  cuestiones  planteadas  han  sido  trabajadas  a partir  del  metanalisis  cualitativo  realiza- 
do  sobre  tres  estudios  de  casos  de  evaluacion  de  un  programa  de  educacion  intercultural.  Vease:  Bartolome 
(coor)  (1998)  Evaluacion  de  un  programa  de  educacidn  intercultural:  desarrollo  de  la  identidad  etnica  en  secundaria  a 
traves  de  la  accion  tutorial.  Madrid:  Informe  de  investigacion  presentado  al  CIDE  (En  prensa). 
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tegias  mas  interesantes  en  la  evaluacion  de  programas  educativos  multiculturales:  «el 
empowerment))3. 

LA  EVALUACION  PARTICIPATIVA 

Se  trata  de  un  termino  cargado  de  multiples  significados.  Cousins  y Whitmore 
(1998)  hablaran  de  dos  grandes  corrientes: 

a)  La  evaluacion  participativa  practica  (Practical  participatory  evaluation) 

b)  La  evaluacion  participativa  transformadora  (Transformative  participatory  eva- 
luation) 

Sobre  esta  division  vuelven  otros  autores  como  Brisolara  (1998).  Un  estudio  del 
contenido  dado  a estas  dos  corrientes  permite  establecer  un  claro  paralelismo  entre  la 
la  y la  investigacion  accion  practica  y cooperativa  (en  la  linea  de  Tikunoff  y Ward, 
1982)  y entre  la  2a  y la  investigacion  participativa  e investigacion  accion  emancipato- 
ria,  (situadas  estas  dos  ultimas  en  el  enfoque  socio-critico).  Los  autores  citados  y los 
indicadores  del  proceso,  asi  lo  sugieren. 

De  todas  formas,  como  reconocen  Cousins  y Whitmore,  aunque  difieran  en  la 
orientacion  filosofica  (pragma tica  y emancipatoria  respectivamente),  existen  en  estas 
dos  corrientes  muchos  elementos  que  comparten  y no  siempre  es  claro  situar  autores  y 
modelos  en  esta  clasificacion. 

El  analisis  que  realizan  de  7 formas  de  evaluacion  participativa  se  lleva  a cabo 
desde  3 ejes  fundamentales: 

a)  Quien  crea  y controla  la  produccion  del  conocimiento  en  el  proceso  de  evalua- 
cion. 

b)  Como  se  realiza  la  selection  de  los  «stakeholders»4  o personas  interesadas  y/o 
afectadas  por  el  programa. 

c)  Cual  es  la  profundidad  y la  extension  de  la  participation  en  el  proceso  evaluati- 
vo  por  parte  de  los  grupos  implicados. 

Cada  uno  de  ellos  resulta  un  continuo  que  nos  permite  situar  una  investigacion 
participativa  concreta. 

iComo  puede  llevarse  a cabo  una  evaluation  participativa ? Veamos  un  ejemplo 
por  Sandin  (1997)  en  la  evaluacion  de  un  Programa  de  desarrollo  de  la  identidad  cul- 
tural en  adolescentes.  Este  es  el  diseno  propuesto 


3 Este  termino  aun  no  tiene  una  traduccion  admitida  y generalizada  por  la  comunidad  cientifica,  en 
castellano.  De  ahi  que  para  su  identification  hayamos  preferido  ponerlo  en  ingles. 

4 Este  termino  puede  definirse  como  aquellos  con  intereses  en  el  objetivo  de  la  evaluacion,  es  decir  los 
sponsors  del  programa,  gestores  e implementadores,  miembros  de  grupos  de  especial  interes,  beneficiarios 
del  programa  que  tienen  un  espacio  definido  en  su  evaluacion.  Como  vemos  va  mas  alia  que  lo  que  hemos 
definido  habitualmente  como  «audiencia». 
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Figura  1 

Diseno  de  la  investigation:  fases  del  proceso.  (Sandfn,  1997:  227) 


Desde  la  perspectiva  intercultural,  queremos  poner  el  entasis  en  algunos  elemen- 
tos,  explicitados  en  otros  trabajos  (Cabrera,  2000,  pp.  18-21;  Sandfn,  1997),  que  caracte- 
rizan  la  evaluacion  participativa. 

• La  evaluacibn  se  centra,  no  en  la  legitimacion  o deslegitimacion  sino  en  la  mejo- 
ra  de  grupos  e instituciones.  El  equipo  de  trabajo,  que  ha  asumido  la  evaluacibn 
del  programa  es  en  sf  mismo  un  activador  del  cambio  puesto  que  genera  una 
actitud  reflexiva  y transformadora  de  sus  miembros. 

• Este  proceso  promueve  el  aprendizaje  en  la  realidad  sobre  la  que  actua. 

«Trabajar  en  grupo;  contrastar  opiniones;  discutir  como  enfocar  diferentes  activida- 
des;  valorar  resultados;  introducir  el  diario  como  elemento  de  reflexion;  animarnos 
mutuamente  en  el  caso  de  duda  sobre  el  trabajo  realizado...  Son  para  mi  aspectos 
positivos  que  me  ban  ayudado  a formarme...  y esto  gracias  a las  personas  queforma- 
bamos  en  el  grupo  de  trabajo  (M.R.  Profesora  participante.  Informe  final. )»  (Sandfn, 
1997) 

«.Ellos5  y yo  hemos  cambiado.  Me  piden  mas;  mas  interaction.  Elios  ban  ganado  en 
sinceridad  y honradez.  Pero  esto  me  ha  obligado  a mi  a entregarme  mas,  a no  impo- 


5 Se  refiere  al  alumnado.  El  grupo  era  muy  heterogeneo  respecto  a su  origen  cultural.  El  profesor  per- 
tenecia  a la  etnia  gitana. 

4 ^ 
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nerles  las  cosas,  a discutirles,  a consensuarlas...  La  cultura  del  grupo  ha  cambiado 
sensiblemente  porque,  entre  otras  cosas  se  ha  acostumbrado  al  debate...  a hablar  en 
publico,  a escuchar  a los  demas,  a respetarse».  (D.  Profesor  participante.  Informe 
final.  En  Sandfn,  1997). 

• La  participacion  en  la  evaluacion  conduce  a un  nivel  cada  vez  mas  fuerte  de 
aproximacion  del  proyecto,  de  cohesion  del  grupo,  una  mayor  capacidad  de 
autorreflexion  y cantbio  y mayor  autonomia  respecto  a asesores  extemos.  Se 
trata  de  un  proceso  paulatino  y gradual. 


Apropiaci6n  del  proyecto 


+ 


+ 
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Figura  2 

Evolucion  del  equipo  de  trabajo  a lo  largo  del  proceso  (Sandfn,  1997:  388) 


• El  evaluador  se  convierte  en  un  facilitador  del  aprendizaje  que  se  promueve  en 
el  interior  del  proceso  evaluativo.  A traves  de  estrategias  de  «empozverment», 
las  minorfas  culturales  desarrollan  habilidades  de  autoevaluacion  que  les  per- 
miten  no  solo  autoafirmarse  y desarrollar  una  autoestima  positiva  sino  descu- 
brir  su  propia  riqueza  que  pueden  compartir  con  los  demas: 

«Me  gustaba  mucho  porque  no  se'...  siempre  es  que  no  sabt'an  nada  i No ? Todos  pasa- 
ban  pero  ahora  ya...  han  aprendido  cosas  mxas  y me  siento  diferente.  Yo  lo  veo  bien 
porque  ya  que  nosotros,  cuando  venimos  a Espaha  aprendemos  cosas,  idiomas  y todo 
eso...  j Elios  tambie'n  tienen  derecho  a aprender!»  (Alumna  marroquf,  Centro.  M. 
Bartolome,  coor,  1998:  562). 
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Dada  la  importancia  de  este  rasgo  lo  desarrollaremos  ampliamente  mas  tarde.  Exis- 
ten  otras  formas  de  evaluation  de  programas,  estan  estrechamente  asociadas  a la  eva- 
luation participativa.  Veamoslo  en  el  cuado  adjunto: 


Figura  3 

Tipos  de  evaluation  asociados  a la  evaluation  participativa 


EVALUACION  DEMOCRATICA  O DELIBERATIVA 

Ampliamente  desarrollada  por  McDonall  (1978)  para  House  y Kennet  (2000)  no 
constituye  un  modelo  mas  sino  una  teoria  de  rango  medio  que  sugiere  que  los  estu- 
dios  evaluativos  deberian  evitar  un  sesgo  a favor  de  un  grupo  privilegiado.  Se  trata  de 
legitimar  el  uso  de  la  evaluation  en  una  sociedad  plural.  Dado  que  el  elemento  clave 
en  la  evaluacion  es  la  representation  de  todos  los  grupos,  la  inclusion  constituye  uno 
de  sus  requisitos.  Esta  inclusion  ha  de  velar  porque  queden  representados  los  intereses 
y se  asegure  la  participation  de  los  que  tienen  menos  poder  en  nuestra  sociedad  (Gre- 
ene, 2000: 13).  Tambien  es  importante  para  la  evaluation,  su  vinculacion  con  las  estruc- 
turas  socio  polfticas  mas  amplias,  asegurando  la  representatividad  democratica  de 
todas  las  fuerzas  sociales.  Si  el  didlogo  es  el  camino  fundamental  para  llegar  a una 
comunicacion  profunda,  permitiendo  dar  la  voz  en  reciprocidad,  (Torres  y otros,  2000: 
29),  la  competencia  comunicativa  intercultural  (Rodrigo,  1999),  vendrfa  asociada 
estrechamente  a este  enfoque,  siendo  uno  de  los  elementos  que  ha  de  trabajarse  mas 
profundamente  en  contextos  multiculturales. 

En  cuanto  al  tercer  requisito  fundamental,  la  deliberation,  «supone  los  dos  elementos 
anteriores  y permite  el  desarrollo  del  juicio  critico  a partir  de  un  proceso  cognitivo  fundamenta- 
do  en  razones,  evidencias  y principios  validos  que  faciliten  la  reflexion  sobre  las  cuestiones,  la 
valoracion  de  sus  aspectos  positivos  y negativos,  y la  busqueda  de  consensos.  En  este  proceso  el 
evaluador,  como  experto,  interviene  aceptando  que  se  concede  autoridad  pero  evitando  hacerse 
con  el  poder».  (Bartolome,  2000: 26) 
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EVALUACION  COMUNiTARIA 

Ya  indicamos  en  su  momento  la  importancia  de  tener  en  cuenta  la  participation  de  la 
comunidad  cuando  tratamos  de  evaluar  programas  que  incidiran  sobre  grupos  de 
poblacion  que  no  solo  difieren  culturalmente,  sino  que  pueden  llegar  a estar  enfrentados 
en  un  conflicto  de  intereses  sociales  y/o  economicos.  Desde  esa  perspectiva,  una  evalua- 
tion de  programa  puede  constituir  el  punto  de  partida  de  un  proceso  de  cohesion  y 
cambio  comumtario.  Ahora  bien,  desde  la  experiencia  de  la  investigation  partitipativa 
(Bartolome  y Acosta,  1992)  hay  que  entender  que  la  evaluation  diagnostica  nos  llevara 
una  parte  importante  del  proceso  y que  este  supone  un  largo  camino  para  llegar  a iden- 
tificar  los  problemas  fundamentales  de  la  comunidad,  asi  como  los  factores  que  los  des- 
encadenan,  a fin  de  que  los  programas  se  construyan  desde  las  necesidades  reales.  Es 
importante  incluir  la  cultura,  problemas,  lenguaje  de  las  familias  que  forman  especial- 
mente  la  comunidad  educativa  (Bright,  Epstein,  Hidalgo,  Siu  y Swap,  1995). 

A1  mismo  tiempo,  el  evaluador  se  convierte  en  «un  colaborador  en  los  procesos  que 
permiten  el  desarrollo  de  capacidades  (habilidades,  conocimientos  y recursos)  de  la  propia 
comunidad.  Se  trata  de  un  proceso  riguroso  y flexible».  (Bartolome,  2000:  27) 

EVALUACION  COLABORATIVA 

No  vamos  a incidir  en  los  aspectos  comunes  a otros  modelos  ya  explicitados.  Que- 
remos  sencillamente  subrayar  dos  rasgos  muy  interesantes: 

• La  importancia  de  plantear  el  diseno  evaluativo  a partir  de  la  colaboracion 
entre  dos  o mas  instituciones.  En  nuestro  caso  hemos  trabajado  cooperativa- 
mente  los  centros  educativos,  la  Universidad  y el  ICE  como  Instituto  de  forma- 
tion del  Profesorado  para  la  evaluation  de  programas  de  educacion 
intercultural. 

• El  enfasis  puesto  en  la  formation  como  una  actividad  que  debe  acompanar  todo 
el  proceso.  Ahora  bien,  esta  formation  ha  de  sustentarse  en  la  actividad  autorre- 
flexiva  y crftica  que  desarrollan  los  educadores  respecto  al  sentido  y significado 
de  sus  propias  acciones,  sus  propios  prejuicios  y estereotipos,  su  manera 
habitual  de  situarse  y enjuiciar  grupos  y personas.  A traves  del  trabajo  grupal 
— seminarios  formativos6  que  acompanan  los  disenos  de  evaluacion — este  pro- 
ceso va  alcanzando  un  caracter  transformador. 

En  este  sentido,  desde  la  educacidn  intercultural,  hemos  preferido  englobar  la  eva- 
luation colaborativa  o cooperativa  dentro  de  la  evaluacion  partitipativa,  incluyendo 
un  eje  mas  a los  propuesto  por  Cousins  y Whitmore:  la  dimension  formativ a. 


6 La  potencialidad  de  las  diversas  estrategias  formativas  puede  estudiarse  en  la  obra  ya  cit.  Bartolome 
(coor),  1998:  567  y ss  asf  como  en  el  informe  acerca  del  proceso  evaluativo  desarrollado  sobre  el  programa 
«Construim  Europa?  La  dimensio  europea  a la  ESO»  1999-2000,  con  profesores  de  4 centros  de  Secundaria 
en  Barcelona.  La  tesis  de  M.  Sabariego,  proxima  a concluirse,  ofrece  igualmente  una  aportacion  muy  intere- 
sante  en  este  punto,  respecto  al  profesorado  de  Secundaria. 
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EL  EMPOWERMENT  COMO  ESTRATEGIA  DE  EVALUACION  EN  LA  EDUCA- 
CION INTERCULTURAL 

La  propuesta  de  empowerment  evaluation  que  nos  ofrece  Fetterman  (1996)  constituye 
uno  de  los  enfoques  mas  prometedores  del  modo  de  hacer  evaluacion  en  contextos 
multi culturales,  sobre  todo  si  nos  alineamos  con  Sleeter  (1991)  y concebimos  el  empo- 
werment como  un  objetivo  fundamental  de  la  educacion  intercultural. 

Aunque  el  termino  de  empowerment  ha  sido  utilizado  de  diferentes  maneras,  en 
el  contexto  de  la  educacion  asumimos  el  significado  que  le  da  Sleeter.  Educacion  para 
el  empowerment,  segun  el  autor,  exige  tomar  seriamente  en  consideration  las  fortale- 
zas,  experiencias,  estrategias  y metas  que  tienen  los  miembros  de  los  grupos  mas 
oprimidos,  Tambien  implica  ayudar  a estos  grupos  a analizar  y comprender  la  estruc- 
tura  social  y a desarrollar  las  capacidades  necesarias  que  les  posibilite  conseguir  sus 
metas  de  una  forma  satisfactoria.  Este  tipo  de  educacion  trabaja  a dos  niveles.  En  el 
ambito  de  las  personas,  realizar  unas  estrategias  educativas  de  empowerment  significa 
ayudar  a las  personas  a aprender  a utilizar  la  ley  y los  procedimientos  administrati- 
vos  correctos  para  lograr  sus  propias  metas  y objetivos  y hacer  valer  sus  intereses 
cuando  se  sienten  que  han  sido  tratados  injustamente.  Mas  que  sentirse  frustrados  e 
impotentes,  o dependiendo  de  que  alguien  abogue  por  ellos,  las  personas  aprenden 
procedimientos  especificos  para  analizar  sus  problemas,  investigar  alternatives  cur- 
sos  de  action,  y llevar  a cabo  las  acciones  pertinentes  que  exige  una  situacion  justa  y 
respetuosa.  En  el  ambito  de  grupo,  esta  educacion  significa  desarrollar  conocimien- 
tos,  puntos  de  miras  y habilidades  para  trabajar  colectivamente  por  la  justicia  social. 
Este  ultimo  empowerment  civico  es  importante  en  el  ejemplo  que  posteriormente  se 
presenta  de  evaluacion  en  la  medida  que  unos  de  los  objetivos  de  esta  es  contribuir  a 
un  mejor  conocimiento  y articulation  entre  asociaciones  de  inmigrantes  y servicios 
municipales. 

Para  entender  la  educacion  multicultural  como  una  estrategia  de  empowerment  es 
necesario  concebir  el  hecho  educativo  como  un  vehiculo  efectivo  para  el  cambio  y la 
emancipation  social.  El  termino  multicultural  en  la  actualidad  no  se  asocia  solamente 
a las  respuestas  educativas  relacionadas  con  la  diversidad  etnico-cultural  o racial,  sino 
que  amplia  su  campo  de  actuation  abarcando  otras  formas  de  diversidad  sobre  todo 
las  de  genero  y de  clase  social.  Si  bien  como  puede  observarse  contimia  afirmandose 
como  una  educacion  relacionada  con  grupos  de  personas  que  por  alguna  razon  sufren 
algun  tipo  de  opresion,  de  discrimination  y/  o de  marginacion. 

La  asimetria  en  el  poder  socio-politico  y economico  que  caracteriza  las  situaciones 
de  estos  grupos  sociales  en  desventaja  explica  el  enfasis  en  una  educacion  intercultural 
que  favorezea  mecanismos  de  empowerment  en  las  personas  afectadas.  Es  necesario  que 
las  personas  tomen  conciencia  critica  de  la  situacion,  de  las  dindmicas  sociales,  eco- 
nomicas y poltticas  que  la  generan  y que  reaccionen  ante  las  mismas  no  como  vtctima 
ni  dependiendo  de  otros  sino  potencialmente  activos  y con  capacidad  para  solucionar 
sus  propios  problemas. 

Desde  estas  perspectivas  se  comprende  la  relevancia  que  en  una  educacion  inter- 
cultural tiene  la  propuesta  innovadora  de  Fetterman.  (1994, 1996  y 1998)  de  concebir 
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una  manera  de  hacer  evaluacion  que  estimula  el  empowerment  de  las  personas  y 
organizaciones.  El  autor  define  empowerment  evaluation  como  el  uso  de  los  concep- 
tos  de  la  evaluacion,  de  sus  tecnicas  y estrategias  para  fomentar  la  mejora  y la 
autodeterminacion  de  los  participantes.  Como  decfamos  en  otras  ocasiones  (Cabre- 
ra, 1998  y 2000)  consiste  en  utilizar  los  beneficios  de  la  metodologta  de  la  evalua- 
cion  para  el  desarrollo  de  habilidades  de  autoevaluacion  que  permitan  a las 
personas,  organizaciones  y comunidad  a mejorar  por  si  mismo  sus  actuaciones  y a 
favorecer  el  cambio  social  necesario  para  que  las  situaciones  resulten  mas  justas  y 
equitativas.  Aprendiendo  a ser  autosuficientes  para  conducir  sus  propias  evaluacio- 
nes  tambien  se  es  cada  vez  mas  habil  para  identificar  y expresar  sus  necesidades, 
establecer  objetivos  y expectativas,  realizar  un  plan  de  accion  para  conseguirlos, 
identificar  recursos,  hacer  decisiones  racionales  entre  varias  alternativas  de  accion, 
establecer  los  pasos  logicos  y necesarios  para  conseguir  los  objetivos,  evaluar  resul- 
tados  a corto  y largo  plazo,  etc. 

En  este  caso,  la  estimation  del  merito  o valor  de  un  programa  no  es  el  final  de  la 
evaluacion  sino  que,  desde  la  perspectiva  del  empowerment,  solo  es  parte  de  un  proceso 
en  marcha  para  mejorar,  ademas  de  las  actividades,  la  capacidad  de  los  participantes 
del  programa  (tanto  personal  responsable  como  usuarios,  personal  y organization) 
para  ser  autonomos,  ejercer  el  control  y la  responsabilidad  sobre  lo  que  se  hace,  como 
y con  que  recursos  se  hace  y que  se  consigue  con  ello. 

Aunque  Patton  (1997)  insiste  en  distinguir  empowerment  evaluation  de  otras  formas 
de  evaluacion  como  son  la  evaluacion  participativa,  la  colaborativa,  la  stakeholder  invol- 
ving y la  utilizacidn-focused,  lo  cierto  es  que  participa  de  muchas  notas  comunes  entre 
ellas.  Si  bien,  los  distintos  papeles  que  puede  adoptar  el  evaluador  — frente  al  papel 
clasico  como  experto  y organizador — segun  las  exigencias  del  empowerment,  muestran 
que  estamos  ante  una  forma  diferente  de  hacer  evaluacion;  el  evaluador  puede  ser  un 
facilitador,  un  colaborador,  un  abogado  o un  formador  dependiendo  de  las  dinamicas 
de  accion  generadas  por  el  proceso  de  evaluacion. 

Basten  estas  anotaciones  para  comprender  que  la  capacidad  de  la  evaluacion  como 
empowerment  para  sus  participantes  es  crftica  en  el  ambito  de  la  educacion  multicultu- 
ral. Mediante  la  evaluacion,  muchos  de  estos  grupos  que  sufren  situaciones  de  margi- 
nacion  en  los  procesos  de  tomas  de  decisiones  que  les  afectan  pueden  mejorar  sus 
posiciones  en  la  medida  que  adquieren  «el  poder»  de  su  situation. 

A continuation  exponemos,  a modo  de  ejemplo,  las  etapas  del  empowerment  evalua- 
tion desarrolladas  por  Fetterman  (1994)  aplicadas  a la  evaluacion  de  un  programa  para 
la  insercion  sociolaboral  de  inmigrantes  del  Ayuntamiento  de  Barcelona.  Para  esta  pre- 
sentation se  hace  una  adaptation  de  la  evaluacion  realizada  por  un  equipo  de  perso- 
nas del  Grupo  de  Investigation  de  Educacion  Intercultural  (GREDI)  de  la  Universidad 
de  Barcelona  y coordinada  por  F.  Cabrera  (Cabrera  y otros,  1998). 

El  programa  Epikouros  del  Ayuntamiento  de  Barcelona  tenia  la  finalidad  de  ayu- 
dar  a personas  inmigrantes  no  comunitarias  a utilizar  los  servicios  normalizados 
municipales  de  insercion  sociolaboral  y contribuir  asi  a su  integration  social.  Una 
novedad  importante  del  programa  fue  el  ser  un  proyecto  cuyo  exito  dependia  en 
gran  medida  de  la  coordination  de  las  actuaciones  de  tres  areas  municipales:  el  area 
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de  Promocion  economica  y ocupacion  (Barcelona  Activa),  el  Instituto  Municipal  de 
Educacion  y el  Negociado  de  Insercion  sociolaboral)  tal  como  se  puede  observar  en 
la  figura  4. 

El  acceso  de  las  personas  inmigrantes  al  programa  se  realizaba  a traves  de  un  Ser- 
vicio  de  Orientation  Laboral  al  Inmigrante  (SOLI)  creado  especificamente  para  el 
proyecto.  A este  servicio  le  llegan  personas  derivadas  de  las  distintas  Asociaciones 
de  inmigrantes  que  participan  en  el  proyecto,  del  INEM  o de  los  servicios  sociales.  El 
SOLI  tenia  la  funcion  de  canalizar  estas  demandas  y,  despues  del  diagnostico  de  la 
situation  de  la  persona  inmigrante,  configurar  un  itinerario  formativo  y llevar  a 
cabo  su  seguimiento.  En  la  mayoria  de  los  itineraries  se  comenzaba  con  modulos  de 
inmersion  lingiiistica  (Area  de  Educacion),  de  comprension  de  la  realidad  de  su 
nuevo  entorno  y de  formacion  basica  (cursos  programados  especificamente  para  el 
proyecto  en  el  area  del  Negociado  de  Insercion  sociolaboral),  para  posteriormente 
pasar  a algun  servicio  de  formacion  ocupacional  que  ordinariamente  ofrece  el  area 
de  Promocion  economica  a traves  de  Barcelona  Activa.  En  los  casos  donde  la  perso- 
na tenia  un  buen  conocimiento  del  entorno  social,  se  le  remitia  directamente  a los 


Figura  4 

El  programa  «Epikouros»  para  la  insercion  sociolaboral  de  inmigrantes. 
(Ayuntamiento  de  Barcelona) 
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cursos  de  formacion  ocupacional  u otros  modulos  de  Barcelona  Activa.  El  programa 
tuvo  una  duracion  de  dos  anos  en  el  transcurso  de  los  cuales  se  atendio  a 220  perso- 
nas inmigrantes. 

El  ayuntamiento  de  Barcelona,  dado  que  se  trataba  de  un  proyecto  que  habia  finali- 
zado  y no  se  continuarfa  con  el  mismo  modelo  de  intervention,  estaba  interesado  en 
una  evaluacion  de  resultados,  centrada  en  lo  que  se  podia  aprender  de  la  experiencia 
para  otros  proyectos  futuros  mas  que  en  una  valoracion  interna  del  modelo  de  inser- 
tion sociolaboral  del  programa.  En  el  Cuadro  1 se  exponen  las  fases  de  la  evaluacion 
analizada  desde  las  perspectivas  del  empowerment  de  los  y las  participantes,  distin- 
guiendo  las  actividades  mas  importantes  de  cada  etapa  y una  sintesis  de  las  dinamicas 
del  empowerment,  como  proceso  y como  resultado. 
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LA  EVALUACION  DE  PROGRAMAS 
INFORMATIZADOS 

Victor  Alvarez  Rojo,  Eduardo  Garcia  Jimenez,  Javier  Gil  Flores,  Soledad  Romero  Rodriguez 

y Javier  Rodriguez  Santero 


I.  LA  UTILIZACION  DE  SISTEMAS  INFORMATIZADOS  PARA  LA  ORIENTA- 
CION DEL  APRENDIZAJE 

En  nuestra  sociedad  del  conocimiento  y de  la  informacion  se  debe  contar  cada  vez 
mas  con  las  aportaciones  de  las  Nuevas  Tecnologfas  de  la  Informacion  y la  Comunica- 
cion (NTIC)  como  recurso  para  el  desarrollo  de  la  intervencion  orientadora.  Su  capaci- 
dad  de  almacenamiento  de  grandes  cantidades  de  informacion,  la  simulation  de  la 
realidad,  el  establecimiento  de  redes  de  comunicacion  con  cualquier  parte  del  mundo 
y para  dar  un  papel  activo  a la  persona  usuaria  ofrece  importantes  posibilidades  para 
el  desarrollo  de  la  orientacion.  En  este  sentido,  Repetto  y Malik  (1998)  senalan  que  el 
principal  reto  de  los/  as  profesionales  de  la  psicopedagogia  es  la  adecuada  utilizacion 
de  estos  recursos  como  elemento  de  mejora  de  la  calidad  de  los  procesos  de  orienta- 
cion y para  hacer  a esta  mas  accesible  a todas  las  personas.  Tejedor  et  al.  (1995)  insis- 
•ten,  asimismo,  en  el  papel  igualador  que  debe  tener  la  utilizacion  de  las  redes  de 
informacion  y comunicacion. 

El  uso  de  los  ordenadores  en  el  proceso  de  orientacion  puede  llevarse  a cabo  desde 
diferentes  niveles,  los  cuales  responden  a la  propia  evolucion  de  la  Informatica:  a) 
Procesamiento  de  informacion,  las  aplicaciones  estadfsticas  o la  correction  de  pruebas 
psicologicas  computerizadas;  y,  b)  Sistemas  mas  comprensivos  de  orientacion  propia- 
mente  dicha1. 

Es  importante  resaltar  la  diferencia  existente  entre  los  sistemas  de  informacion  pro- 
fesional  asistidos  por  ordenador  y los  sistemas  integrados  de  orientacion,  ya  que, 
independientemente  del  uso  que  se  les  de  — se  pueden  utilizar  conjuntamente  dentro 


1 Esta  evolucion  queda  claramente  descrita  en  los  trabajos  de  Taveira  Silva  y Noguer  Gelma  (1999)  y 
Marco  Taverner  (1995). 
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de  un  cotinuum — , en  si  mismos  reflejan  diferentes  enfoques  de  la  orientacion  — cen- 
trada  en  la  informacion  o en  el  individuo — . 

Los  sistemas  de  informacion  enfatizan  la  busqueda  de  ficheros  que  contienen  infor- 
macion relacionada  con  oportunidades  profesionales,  educativas  y sociales;  estrate- 
gias  de  estudio,  etc.  Asimismo,  pueden  analizar  informacion  introducida  por  la 
persona  usuaria  y elaborar  las  correspondencias  entre  oportunidades  de  eleccion  y 
caracteristicas  de  los  usuarios,  si  su  finalidad  es  la  de  orientar  profesionalmente;  o bien 
entre  esas  caracteristicas  y determinadas  estrategias  de  aprendizaje. 

Los  sistemas  de  orientacion  aprovechan  las  posibilidades  de  interactividad  de  la 
informatica  y en  sus  versiones  mas  integradas  y comprensivas  se  organiza  la  informa- 
cion de  acuerdo  con  los  criterios  elegidos  por  los  usuarios  y las  usuarias.  Los  sistemas 
integrados  permiten  a la  persona  usuaria: 

— Autoevaluarse  en  diferentes  areas  (intereses,  aptitudes,  valores,  habitos  de  estu- 
dio, estilos  de  aprendizaje,  estrategias  de  aprendizaje...). 

— Recoger  informacion  adaptada  a sus  intereses  y expectativas  acerca  de  las  posi- 
bilidades profesionales,  educativas  y sociales. 

— Aprender  el  proceso  de  toma  de  decisiones  academicas  o profesionales. 

— Desarrollar  habilidades,  estrategias,  habitos  de  aprendizaje.  Cuestionarse  su 
propia  concepcion  del  aprendizaje.  Aprender  a aprender. 

Los  programas  de  orientacion  asistidos  por  ordenador  se  han  visto  enriquecidos  en 
los  ultimos  anos  por  la  aplicacion  de  los  sistemas  hipermedia,  los  cuales,  ademas  de  la 
combination  del  ordenador  y el  videodisco,  permiten  la  utilizacion  de  estructuras  de 
informacion  no  lineales  ni  secuenciales,  gracias  al  uso  del  hipertexto.  Esta  forma  de 
organization  de  la  informacion  permite  un  mayor  protagonismo  a la  persona  usuaria 
y se  acerca  mas  a los  procesos  reales  de  aprendizaje.  Aunque  aun  existen  pocos  pro- 
gramas de  este  tipo,  se  pueden  encontrar  ya  algunos  elaborados  por  la  empresa  Career 
Soft  britanica;  en  Portugal  se  esta  realizando  la  prueba  piloto  del  programa  Projectos 
(Taveira  Silva  y Noguer  Gelma,  1999). 

Las  ventajas  e inconvenientes  de  la  utilizacion  de  los  sistemas  informatizados  de 
informacion  y orientacion  han  sido  objeto  de  analisis  en  numerosos  trabajos2.  El  anali- 
sis  de  los  inconvenientes  del  uso  de  los  sistemas  informaticos,  mas  que  motivar  su  des- 
consideracion,  lo  que  hace  es  reforzar  la  idea  de  que  deben  ser  utilizados  como  un 
recurso  mas  del  proceso  de  action  orientadora,  en  el  que  seguira  siendo  de  especial 
importancia  la  relation  personal  (orientador/a-orientando/a;  grupo).  Por  tanto,  no 
pueden  sustituir  la  figura  del/de  la  orientador/a,  quien  debera  jugar  un  importante 
papel  en  sus  funciones  de  acompanamiento  afectivo,  de  individidualizacion  del  proce- 
so de  orientacion  — los  sistemas  se  elaboran  para  una  persona  «media» — y de  planifi- 


2 Harris-Bowlsbey,  1991;  Marco  Taverner,  1995;  Offer,  1997;  Repetto  et  alt,  1994;  Repetto  y Malik,  1998; 
Taveira  Silva  y Noguer  Gelma,  1999.  Se  dedica  una  especial  atencion  a ello  en  los  monograficos  del  ano  1984 
de  las  revistas  Journal  of  Counseling  and  Development  y Measurement  and  Evaluation  in  counseling  and  Develop- 
ment. 
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cacion  de  la  accion  orientadora.  Asi  pues,  como  ha  senalado  recientemente  Boy  (1999), 
es  preciso  examinar  y cuidar  con  mucha  atencion  la  utilizacion  del  «libre  acceso»  a los 
sistemas  informaticos  para  que  realmente  cumplan  su  funcion  orientadora.  Entre  las 
condiciones  que  deben  darse  para  un  adecuado  uso  de  los  sistemas  de  orientacion  e 
informacion  asistidos  por  ordenador,  Gati  (1994)  destaca  las  que  se  recogen  a conti- 
nuation: 

1.  Hay  que  tener  en  cuenta  que  toda  la  informacion  — incluida  la  que  proviene 
directamente  del/de  la  orientador/a — puede  estar  sujeta  a una  seleccion  no 
intencional. 

2.  Necesidad  de  hacer  explicitas  tanto  las  aspiraciones  como  los  compromises. 

3.  Necesidad  de  ofrecer  solo  la  informacion  relevante. 

4.  Necesidad  de  evaluar  la  calidad  del  proceso  de  orientacion. 

5.  Los/ as  profesionales  de  la  orientacion  deben  contribuir  a un  buen  uso  de  los 
sistemas  informaticos  a traves  de  las  siguientes  acciones: 

A Critica  constructiva  de  los  sistemas  existentes. 

B Participation  en  la  seleccion  de  los  sistemas  que  va  a utilizar  el  /la  destinata- 
rio/a. 

C Diseno  de  procesos  diagnosticos  para  determinar  quien  debe  utilizar  los  sis- 
temas, como,  cuando  y cual. 

D Tutorizacion  personal  de  los  dialogos  entre  los  /as  usuarios/as  y el  sistema. 

E Discusion  con  el/  la  ususario/a,  integrando  e interpretando  la  informacion 
procedente  del  sistema  y,  por  tanto,  haciendo  esta  mas  significativa  para 
el /la  usuario/a. 

F Valoracion  critica  de  las  teorias  en  las  que  estan  basados. 

Estos  requisitos  llevan  a una  condition  que  se  debe  considerar  como  general:  la 
necesidad  de  planificar  y evaluar  el  uso  de  los  sistemas  informaticos  como  parte  de  un 
proceso  mas  amplio  e integral  de  la  orientacion,  donde  el  protagonismo  lo  tiene  la  per- 
sona destinataria  y el /la  orientador/  a debe  realizar  su  funcion  de  acompanamiento  y 
de  experto/a  en  el  proceso. 

2.  LA  EVALUACION  DEL  PROGRAMA  «ATANDO  CABOS» 

«MAGALLANES»  es  un  programa  de  orientacion  dirigido  al  desarrollo  educativo 
del  alumnado  que  inicia  sus  estudios  universitarios.  Concretamente  orienta  a los  estu- 
diantes  en  relation  con  los  metodos  de  trabajo  y estudio  propios  de  este  nivel  educati- 
vo. En  su  estructura  es  posible  diferenciar  dos  momentos  o fases  diferentes:  1)  una 
estudio  autoexploratorio  basado  en  la  comparacion  de  las  respuestas  del  alumno  a la 
«Escala  sobre  el  Trabajo  y el  Estudio  Universitarios»  con  el  promedio  de  los  valores 
alcanzados  en  dicha  Escala  por  estudiantes  matriculados  en  Centros  de  su  misma  area 
de  conocimiento;  y,  tras  identificar  aquellas  dimensiones  de  la  Escala  que  requieren  un 
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analisis  mas  profundo,  2)  Un  sistema  de  autoanalisis  informatizado  que  consta  de 
once  modulos  (Estilos  de  aprendizaje,  Habilidades  de  planificacion,  Metas  de  aprendi- 
zaje  y logro,  Autoconcepto,  Capacidad  de  expresion,  Habilidades  para  el  manejo  de 
informacion,  Orientacion  y apoyo  del  profesorado,  Metodologia  didactica  del  profeso- 
rado,  Integration  en  la  universidad,  Capacidad  de  adaptation  y Orientacion  y apoyo 
de  la  institution). 

En  el  prorama  MAGALLANES  se  integran  dos  subprogramas:  «atando  cabos»,  un 
programa  relativo  a los  metodos  de  trabajo  de  los  alumnos  que  inician  sus  estudios  en  la 
Universidad;  y,  «manejando  el  tim6n»,  un  programa  informatizado  destinado  a orientar 
la  transition  a la  vida  activa  de  los  estudiantes  que  universitarios  de  los  ultimos  cursos. 

Lo  que  a continuation  presentamos  es  un  resumen  del  proceso  seguido  para  eva- 
luar  el  programa  «atando  cabos».  En  este  resumen  nos  detendremos  en  la  considera- 
tion de  diferentes  elementos  del  diseno  seguido  (objetivos,  terminos  de  comparacion, 
metodologia)  y en  algunos  de  los  resultados  obtenidos  inmediatamente  despues  de  la 
aplicacion  del  mismo  a un  grupo  de  alumnos  universitarios. 

2. 1 . Objetivos  de  la  evaluacion 

La  evaluacion  del  programa  «atando  cabos»  persigue  una  doble  finalidad.  De  una 
parte,  pretende  determinar  la  valia  del  mismo  como  recurso  instruccional  destinado  a 
ayudar  al  estudiante  a analizar  sus  estrategias  de  trabajo  y sus  carencias  en  relacion 
con  las  demandas  academicas  del  estudio  en  la  universidad.  De  otra  parte,  la  evalua- 
cion aspira  a proporcionar  la  base  informativa  necesaria  para  adoptar  decisiones  de 
mejora  del  propio  programa.  En  nuestro  planteamiento  el  primero  de  los  objetivos 
mencionados  queda  subordinado  al  segundo,  puesto  que  el  interes  que  para  nosotros 
tiene  la  emision  de  juicios  de  valor  acerca  del  programa  es  su  utilidad  como  punto  de 
partida  para  decidir  que  elementos  y en  que  sentido  habrian  de  ser  modificados.  En 
este  sentido,  cabria  hablar  de  una  evaluacion  orientada  a la  decision  (Stufflebeam  y 
Shinkfield,  1987),  que  en  nuestro  caso  llevarfa  a eventuales  modificaciones  del  progra- 
ma en  su  presentation,  estructura  o contenidos. 

Aunque  estariamos  hablando  fundamentalmente  de  una  evaluacion  del  diseno 
del  programa,  a ella  habria  que  anadir  la  evaluacion  de  necesidades  realizada  con 
anterioridad  al  desarrollo  del  programa  y una  evaluacion  de  los  resultados  obteni- 
dos con  el  mismo.  Asi,  el  programa  «atando  cabos»  fue  desarrollado  para  atender  a 
las  necesidades  detectadas  en  los  alumnos  universitarios  en  relacion  con  sus  meto- 
dos de  trabajo;  el  diseno  del  programa  en  cuanto  a estructura  y contenido  se  ha  apo- 
yado  en  los  resultados  del  estudio  empirico  sobre  exigencias  del  trabajo 
universitario  realizado  en  la  Universidad  de  Sevilla  (Alvarez,  2000).  De  igual  modo, 
tras  la  aplicacion  del  programa  «atando  cabos»  a una  muestra  de  estudiantes  se  rea- 
lizo  una  evaluacion  de  los  resultados  obtenidos  en  dicho  programa;  esta  evaluacion 
recoge  las  reacciones  de  los  estudiantes  despues  de  trabajar  con  el  programa,  aunque 
desde  luego  no  sobre  el  aprendizaje  efectivo  realizado  por  estos  (solo  tenemos  sus 
apreciaciones)  ni  sobre  el  impacto  del  programa  en  su  actividad  dentro  y fuera  del 
aula. 
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2.2.  Terminos  de  comparacion 

Entendemos  que  la  evaluation  comporta  en  esencia  una  comparacion  entre  termi- 
nos, un  analisis  de  las  semejanzas  o diferencias  que  existen  entre  el  objeto  evaluado  y 
el  referente  que  adoptamos  para  emitir  un  juicio  valorativo.  Un  juicio  de  valor  no  es 
mas  que  una  estimation  del  grado  en*que  el  objeto  evaluado  se  aproxima  a las  realiza- 
ciones  o concreciones  que  tomamos  como  referenda  y consideramos  optimas.  En  la 
evaluation  del  programa  «atando  cabos»  hemos  considerado  al  menos  los  siguientes 
terminos  de  comparacion: 

1.  La  estructura  de  contenidos  en  funcion  de  la  cual  se  ha  disenado  el  programa 
constituyen  un  primer  termino,  que  sera  comparado  con  las  exigencias  que 
plantea  a los  estudiantes  universitarios  el  estudio,  es  decir,  con  los  metodos, 
estrategias,  habilidades  que  conducen  a resultados  satisfactorios  en  el  trabajo 
del  alumno  universitario. 

2.  Otra  comparacion  se  establecera  entre  los  objetivos  pretendidos  por  los  autores 
del  programa  y las  opiniones  de  los  alumnos  usuarios  del  mismo  acerca  de  los 
logros  alcanzados  tras  la  aplicacion. 

3.  Los  estandares  o normas  de  calidad  recogidos  en  la  literatura  sobre  evaluation 
de  programas  de  orientation  y de  programas  informatizados  representan  un 
termino  de  comparacion  que  actuara  de  referente  para  la  estructura,  el  diseno, 
la  aplicacion  o los  resultados  del  programa  «atando  cabos». 

2.3.  Criterios  de  evaluation 

Los  criterios  en  funcion  de  los  cuales  se  afirmara  la  valfa  del  objeto  sometido  a evalua- 
tion no  son  otros  que  la  proximidad  existente  entre  los  terminos  que  se  someten  a compa- 
racion. Es  decir,  consideraremos  que  el  programa  «atando  cabos»  es  valioso  en  la  medida 
en  que  su  diseno,  aplicacion  y resultados  se  ajusten  a los  propositos  para  los  que  fue  crea- 
do,  respondan  a las  necesidades  de  los  alumnos  universitarios  en  relation  a la  metodolo- 
gia  de  trabajo  o sigan  las  normas  de  calidad  que  se  esperan  para  este  tipo  de  programas. 

En  relation  a esto  ultimo,  cabria  esperar  que  un  programa  posea,  entre  otras  cuali- 
dades,  las  que  aquf  enumeramos  y consideramos  como  referentes  para  la  evaluation. 
Estos  criterios  han  sido  elaborados  a partir  de  la  literatura  sobre  evaluation  de  progra- 
mas de  orientation  (Perez  Juste,  1992;  Repetto,  1987)  y teniendo  en  cuenta  las  caracte- 
rfsticas  que  debe  poseer  el  software  educativo  (Marques,  s.f.). 

1.  Relevancia  de  los  contenidos.  Los  contenidos  del  programa  se  consideran  intere- 
santes,  actuales  y responden  a problemas  reales,  demandas  o necesidades  for- 
mativas  a los  que  es  preciso  dar  respuesta. 

2.  Claridad.  El  programa  debe  contar  con  metas  inequivocamente  delimitadas  y ha 
de  resultar  claro  en  sus  contenidos  y en  los  procesos  que  implica  su  desarrollo. 
Ademas,  la  claridad  debe  manifestarse  en  el  lenguaje  empleado,  que  ha  de 
posibilitar  la  comprension  por  parte  de  los  usuarios. 
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3.  Coherencia.  Es  decir,  unidad  armonica  entre  los  elementos  que  lo  componen, 
haciendo  que  cada  parte  del  programa  este  conectada  con  las  restantes.  Y ade- 
mas,  consistencia  entre  los  objetivos  del  programa  y el  diseno  del  mismo,  entre 
los  contenidos  y las  estrategias  para  desarrollarlos,  entre  las  exigencias  al  usua- 
rio  y los  resultados  esperados. 

4.  Capacidad  de  motivacion.  Los  contenidos,  las  actividades  propuestas  por  el  pro- 
grama y el  entorno  de  comunicacion  deben  ser  suficientemente  atractivos  para 
despertar  y mantener  el  interes  de  los  usuarios  hacia  los  contenidos. 

5.  Adecuacion  a los  usuarios.  Se  espera  que  el  programa  sea  adecuado  para  los  suje- 
tos  a los  que  se  destina,  de  tal  forma  que  sus  contenidos  y tareas  resulten  acce- 
sibles  para  los  individuos  que  se  encuentran  en  un  determinado  nivel 
academico  o poseen  determinadas  caracteristicas  en  funcion  de  las  cuales  son 
considerados  destinatarios  del  programa. 

6.  Versatilidad.  El  programa  deberia  demostrar  su  funcionalidad  en  diferentes  con- 
textos,  como  ocurre  por  ejemplo  con  las  diferentes  areas  de  ensenanza.  Ade- 
mas,  la  versatilidad  se  ve  favorecida  por  la  posibilidad  de  integrarse  facilmente 
con  otros  medios  didacticos  o actividades  previas  o posteriores  al  propio  uso 
del  programa. 

7.  Viabilidad.  El  programa  es  viable  en  funcion  del  realismo  de  sus  metas,  la  cali- 
dad  tecnica  y su  ajuste  a las  caracteristicas  de  la  institucion  o a los  recursos  dis- 
ponibles. 

8.  Utilidad.  Se  refiere  a como  el  programa  atiende  a las  necesidades  de  los  destina- 
tarios del  mismo.  Un  programa  util  resultara  relevante. 

9.  Eficacia.  Desde  el  punto  de  vista  de  la  eficacia,  el  programa  deberia  conducir  a 
los  resultados  previstos,  comportando  un  beneficio  para  quienes  lo  han  segui- 
do  y para  la  institucion  a la  que  pertenecen. 

10.  Eficiencia.  Hacer  referenda  al  balance  coste-beneficio  en  la  aplicacion  del  pro- 
grama, es  decir,  a la  relation  que  existe  entre  los  resultados  conseguidos  y la 
inversion  de  esfuerzo  y recursos  para  lograrlos. 

11.  Facilidad  de  uso.  Los  programas  deben  ser  suficientemente  faciles  de  manejar 
para  que  esten  al  alcance  de  todos  los  potenciales  usuarios.  El  uso  del  progra- 
ma se  verfa  facilitado  si  posee  un  caracter  autoexplicativo,  es  decir,  si  se  da  la 
posibilidad  real  de  que  los  usuarios  puedan  utilizarlo  inmediatamente  sin  tener 
que  llevar  a cabo  largos  y complejos  procesos  de  instalacion,  lecturas  de 
manuales  o entrenamientos  previos. 

12.  Calidad  del  entorno  audiovisual.  El  atractivo  del  programa  dependera  del  entorno 
comunicativo  configurado  a partir  de  las  pantallas.  Se  espera  que  tengan  sufi- 
ciente  calidad,  desde  el  punto  de  vista  tecnico  y estetico,  elementos  tales  como 
que  los  tftulos,  ventanas,  iconos,  botones,  formularios,  hipervfnculos,  graficos, 
fotograffas,  animaciones,  videos,  voz,  musica,  tipografia,  navegacion,  etc. 

13.  Satisfaccion  del  usuario.  Los  destinatarios  del  programa  deben  quedar  satisfe- 
chos  tras  la  aplicacion  del  mismo.  Aunque  cabe  la  posibilidad  de  que  los  suje- 
tos  queden  satisfechos  con  un  programa  poco  valioso  desde  el  punto  de  vista 
tecnico,  la  satisfaccion  puede  tomarse  como  una  evidencia  mas  que  apoya  la 
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valia  del  programa,  y ademas  constituye  un  importante  factor  que  facilita  la 
aplicacion  del  mismo. 

14.  Evaluabilidad.  Esta  cualidad  implica  la  posibilidad  de  ser  evaluable.  Es  decir,  el 
programa  en  si  mismo,  su  aplicacion  o los  resultados  a los  que  conduce  deberian 
ser  susceptibles  de  evaluacion.  Ha  de  ser  posible  la  recogida  de  informacion 
acerca  del  programa  y la  emision  de  juicios  de  valor  sobre  el  mismo  que  con- 
duzcan  a introducir  medidas  de  mejora. 

2.4.  Metodologia  de  evaluacion 

Como  hemos  adelantado,  la  evaluacion  se  ha  basado  en  la  informacion  recogida 
durante  la  aplicacion  del  programa.  Desde  el  punto  de  vista  metodologico,  la  evalua- 
cion realizada  sigue  el  diseno  de  un  estudio  descriptivo  apoyado  en  procedimientos 
de  encuesta  y de  observacion.  El  empleo  de  estos  metodos  de  investigation  responde 
unicamente  al  proposito  de  lograr  datos  e informaciones  en  los  que  basar  los  juicios 
valorativos,  garantizando  la  legitimidad  de  las  conclusiones  a las  que  lleguemos  en  la 
evaluacion. 

Los  alumnos  seleccionados  para  la  aplicacion  del  programa  han  sido  un  total  de 
108,  extraidos  de  la  poblacion  que  cursa  el  primer  ano  de  sus  estudios  universitarios 
en  centros  de  la  Universidad  de  Sevilla,  de  los  cuales  51  son  hombres  y 57  mujeres 
mientras  que  51.9%  de  los  mismos  es  usuario  habitual  de  ordenadores  y el  48.1%  res- 
tante  no  utiliza  habitualmente  este  tipo  de  herramientas.  El  procedimiento  de  selec- 
tion utilizado  se  ajusta  en  esencia  a lo  que  denominamos  un  muestreo  por  cuotas.  En 
la  configuration  de  las  cuotas  se  han  observado  los  siguientes  criterios:  a)  la  existencia 
de  cinco  areas  de  ensenanza  universitaria  (Arte  y Humanidades,  Ciencias  de  la  Salud, 
Ciencias  Exactas  y Naturales,  Ciencias  Sociales  y Juridicas,  Ingenierias  y Tecnologias); 

b)  conseguir  la  presencia  en  cada  cuota  de  alumnos  procedentes  de  diferentes  centros; 

c)  estar  matriculados  en  primer  curso  de  cualquiera  de  las  titulaciones  incluidas  en  las 
respectivas  areas  de  ensenanza. 

La  utilization  del  programa  «atando  Cabos»  por  parte  de  los  alumnos  que  acepta- 
ron  participar  en  la  experiencia  tuvo  lugar  en  sesiones  celebradas  a lo  largo  de  la  pri- 
mera  quincena  del  mes  de  abril  de  2000  en  el  aula  de  informatica  de  la  Facultad  de  CC. 
de  la  Education.  Teniendo  en  cuenta  la  informacion  aportada  por  los  usuarios,  el  tiem- 
po  medio  de  trabajo  con  el  programa  ha  sido  de  unas  dos  horas. 

Durante  la  aplicacion  del  programa  se  ha  recogido  informacion  que  nos  proporcio- 
na  la  base  para  llevar  a cabo  la  evaluacion  del  mismo.  Esta  informacion  ha  consistido 
fundamentalmente  en  registros  de  observaciones  realizadas  por  los  observadores/  apli- 
cadores  presentes  en  las  sesiones  de  trabajo  y en  opiniones  y valoraciones  inmediatas 
realizadas  por  los  alumnos  tras  su  experiencia  con  el  programa.  La  observacion  se  ha 
llevado  a cabo  mediante  la  elaboration  de  un  registro  de  tipo  narrativo,  para  el  que  se 
proponia  una  estructura  basica  recogiendo  los  comentarios,  las  preguntas,  las  reaccio- 
nes,  las  dificultades  y otras  incidencias  detectadas  en  la  aplicacion. 

El  otro  procedimiento  utilizado  ha  sido  un  Cuestionario  en  el  que  se  incluye,  junto 
a cuestiones  demograficas  y preguntas  sobre  su  experiencia  informatica  previa,  una 
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escala  de  valoracion  sobre  diferentes  aspectos  del  programa,  en  la  que  los  alumnos 
deben  responder  utilizando  una  escala  de  cinco  puntos  — nada,  muy  poco,  algo,  bastante, 
mucho — segun  consideren  correctas  en  mayor  o menor  grado  las  afirmaciones  conte- 
nidas  en  cada  uno  de  los  13  items  propuestos.  El  conjunto  de  items  recoge  valoracio- 
nes  sobre  el  contenido  del  programa,  su  utilidad,  la  facilidad  de  uso  o el  formato 
empleado. 

Junto  a la  escala  valorativa  basada  en  afirmaciones  que  los  alumnos  deben  valorar, 
se  incluyo  una  escala  de  diferencial  semantico,  constituida  por  7 parejas  de  adjetivos 
bipolares  para  los  que  se  establecfa  una  escala  de  siete  puntos.  Mediante  este  instru- 
ment©, los  alumnos  debian  indicar  su  valoracion  sobre  el  interes,  la  utilidad,  la  clari- 
dad,  la  facilidad,  el  agrado  que  produce  y la  comprensibilidad  del  programa.  Ademas, 
quedaba  abierta  la  posibilidad  de  que  el  alumno  expresase  libremente  sus  opiniones 
sobre  el  programa  mediante  una  indication  final  para  que  anadiera  cuantas  valoracio- 
nes  se  estimen  oportunas.  Esta  cuestion  abierta  ponfa  fin  al  cuestionario. 

Los  datos  obtenidos  por  esos  procedimientos  fueron  analizados  utilizando  estadis- 
ticos  descriptivos  y de  contraste  parametrico  y no  parametrico.  Ademas  se  realizaron 
sendos  analisis  factoriales  exploratorios  para  estudiar  la  estructura  de  la  escala  y la  del 
diferencial  semantico. 

2.5.  Resultados  de  la  evaluation 

Como  mostraremos  a continuation,  las  evidencias  recogidas  durante  la  aplicacion 
del  programa  «atando  cabos»  nos  llevan  a hacer  una  valoracion  positiva  del  mismo,  en 
aspectos  relativos  a su  diseno  y aplicacion  asf  como  a los  resultados  que  permite  alcan- 
zar.  Asimismo,  el  programa  genera  en  el  alumnado  interrogates  e inquietudes  que 
pueden  ser  la  base  para  continuar  una  intervention  orientadora  mas  personalizada. 

2.5.  / . Relativos  al  diseno 

En  lo  relativo  al  diseno,  nos  centraremos  en  valoraciones  sobre  aspectos  que  tienen 
que  ver  con  los  contenidos  incluidos  en  el  programa,  las  estrategias  utilizadas  en  el 
trabajo  con  el  mismo,  o el  soporte  informatico  utilizado.  Resumidas  estas  valoraciones 
podemos  concluir  que: 

1.  Los  contenidos  del  «ATANDO  CABOS»  se  corresponden  con  las  necesidades  de  los 
alumnos  en  materia  de  metodos  de  trabajo : se  ha  observado  una  contingencia  entre 
los  aspectos  del  diagnostico  inicial  y los  modulos  de  informacion  desarrollados 
en  el  programa. 

2.  Los  contenidos  del  «ATANDO  CABOS»  son  adecuados  para  alumnos  universitarios  de 
primer  curso:  resultan  claros,  facilmente  comprensibles,  y por  tanto  adaptados  al 
nivel  de  los  sujetos  destinatarios. 

3.  Las  estrategias  utilizadas  se  han  adaptado  satisfactoriamente  al  tratamiento  de  los  con- 
tenidos informativos:  han  facilitado  el  autoanalisis  del  alumno  y su  acceso  a la 
informacion. 
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4.  El  diseno  informatico  facilita  la  interaccion  con  el  usuario:  no  se  dan  interrupciones 
en  la  ejecucion  y los  usuarios  no  se  han  sentido  desconcertados  o incapaces  de 
seguir  avanzando  en  el  uso  del  programa. 

Tambien  habria  que  destacar  dentro  del  apartado  de  diseno  es  que  el  programa, 
dadas  las  caracteristicas  del  propio  soporte  informatico  utilizado,  ofrece  un  nivel  expe- 
riencia  experiential  que  podriamos  considerar  metaforico.  No  obstante,  la  aplicacion 
en  grupos  puede  facilitar  el  analisis  de  casos  y situaciones  reales,  cercanas  a su  cotidia- 
nidad. 

2.5.2.  Respecto  a la  aplicacion 

Las  valoraciones  y argumentos  que  mostramos  en  este  apartado  tratan  de  subrayar 
la  aplicabilidad  del  «ATANDO  CABOS»,  de  acuerdo  con  la  experiencia  que  hemos  lle- 
vado  a cabo.  Destacaremos  una  serie  de  cualidades  apreciadas  en  la  aplicacion  del 
programa  a los  alumnos  universitarios.  Estas  valoraciones  quedarfa  resumidas  en  las 
siguientes: 

1.  La  aplicacion  del  programa  es  viable  en  nuestros  centros  universitarios:  tanto  en  lo  que 
se  refiere  a los  requerimientos  de  hardware  como  del  tiempo  requerido  por  la 
aplicacion 

2.  El  programa  resulta  fdcil  de  usar  por  los  alumnos  universitarios:  El  usuario  puede 
conocer  como  avanzar  y manejar  el  programa  sin  necesidad  de  que  previamen- 
te  se  la  haya  entrenado  o formado  para  esta  tarea. 

3.  Resulta  agradable  trabajar  con  el  programa.  El  entorno  configurado  por  el  progra- 
ma «atando  cabos»  produce  una  predisposition  positiva  a recibir  information 
sobre  metodos  de  trabajo  universitario. 

4.  La  aplicacion  del  programa  no  difiere  de  manera  importante  segun  areas  de  ensenanza: 
En  general,  la  forma  en  que  se  ha  desarrollado  la  aplicacion  del  programa  es 
similar  para  los  alumnos  procedentes  de  carreras  adscritas  a las  cinco  grandes 
areas  de  ensenanza  universitaria. 

Entendemos  que  otras  de  las  virtualidades  del  programa  es  la  riqueza  que  puede 
aportar  si  se  utiliza  en  sesiones  grupales,  en  las  que  el  proceso  de  autoanalisis  se  veria 
enriquecido  por  las  aportaciones  de  los  companeros.  Asimismo,  habria  que  destacar  la 
importancia  del  acompanamiento  del  orientador,  si  es  que  existe,  para  profundizar  en 
el  analisis  que  facilita  el  programa  y ofrecer  apoyo  afectivo. 

2.5.3.  Respecto  a los  resultados 

La  valoracion  de  los  resultados  encuentra  la  dificultad  de  que  buena  parte  de  los 
efectos  observables  como  consecuencia  de  la  utilization  del  programa  no  se  producen 
de  forma  inmediata.  Tras  la  aplicacion  del  programa  puede  analizarse  en  las  reaccio- 
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nes  de  los  estudiantes:  la  satisfaction  de  los  usuarios  o sus  percepciones  sobre  los 
beneficios  y utilidad  del  programa.  En  este  sentido,  podemos  concluir  que: 

1.  El  programa  propicia  un  aprendizaje.  La  opinion  mayoritaria  de  los  alumnos  apun- 
ta  a que  se  produce  un  aprendizaje  como  consecuencia  de  la  utilization  del  pro- 
grama, lo  cual  puede  valorarse  como  un  primer  resultado  positivo. 

2.  El  programa  resulta  util  para  el  alumno.  Ademas  del  aprendizaje  que  supone  la 
experiencia  de  uso  del  «atando  cabos»,  la  segunda  valoracion  que  hacemos 
sobre  los  resultados  del  programa  es  la  referente  a la  utilidad  del  mismo  de  cara 
a mejorar  efectivamente  la  metodologfa  de  trabajo  de  los  estudiantes,  y en  parti- 
cular para  orientar  a los  alumnos  que  inician  estudios  universitarios. 

3.  El  balance  coste-beneficio  del  programa  es  positivo.  Las  valoraciones  que  hacen  los 
alumnos  sobre  este  tema  apuntan  a que  el  tiempo  invertido  en  la  utilization  del 
programa  se  ve  compensado  por  los  aprendizajes  derivados  del  mismo. 

4.  Los  alumnos  se  muestran  satisfechos  tras  la  utilizacion  del  programa.  Todas  las  valo- 
raciones que  hemos  ido  recogiendo  en  este  apartado  ponen  de  manifiesto  una 
opinion  positiva  de  los  usuarios,  los  cuales  han  quedado  satisfechos  con  el  con- 
tenido  del  «atando  cabos»,  el  modo  en  que  funciona,  la  interactividad  que  pro- 
mueve  y los  resultados  que  se  derivan  del  trabajo  con  el  mismo. 

Los  resultados  obtenidos  en  este  proceso  de  evaluation  nos  llevan  a considerar  la 
necesidad  no  solo  de  mejorar  aspectos  del  contenido  y del  diseno  del  programa  «atan- 
do  cabos»  sino  tambien,  como  ya  hemos  comentado,  la  de  mirar  con  atencion  el  modo 
en  que  se  aplica  dentro  y fuera  de  las  aulas.  El  trabajo  con  grupos  de  alumnos  y el 
apoyo  de  un  servicio  de  orientation  podrian  ser  dos  elementos  claves  para  contribuir 
al  exito  de  propuestas  como  la  que  aquf  hemos  evaluado. 
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RESUMEN 

Una  de  las  aportaciones  mas  significativas  de  Super  ha  sido  el  enfasis  en  el  hecho  de  que  las 
«carreras»  se  desarrollan  a lo  largo  de  la  vida  y que  las  intervenciones  psicopedagogicas  han  de 
capacitar  a los  clientes  en  las  competencias  para  enfrentarse  a las  tareas  vocacionales  requeridas 
en  la§  etapas  del  desarrollo  correspondientes,  especialmente  en  la  de  la  adolescencia.  Adoptando 
una  perspectiva  integradora  afi'n  a Super,  si  bien  ampliada  con  otros  enfoques  recientes,  la  auto- 
ra  ha  revisado  los  recientes  avances  en  las  teorias  del  consejo  y la  orientacion  para  desarrollar  la 
fundamentacion  del  diseho  del  Programa  Tu  Futuro  Profesional  — TPF— . El  articulo  mues- 
tra  que  el  «Inventario  del  Desarrollo  de  la  Carrera  —Forma  Escolar  (Career  Development 
Inventory-School  Form-CDI-SF)  de  Super,  previamente,  validado  y adaptado  en  nuestro  pais 
en  otro  trabajo,  puede  emplearse  para  medir  los  resultados  del  Programa  TPF  y evaluar  su  efec- 
tividad.  Este  procedimiento  es  el  que  utilizan  los  autores  en  la  presente  investigacion  pre- 
post-test realizada  con  4.991  estudiantes  espaholes  de  la  Educacion  Secundaria  Obligatoria  y 
Post-Obligatoria. 

ABSTRACT 

One  of  Super's  most  important  contributions  has  been  his  emphasis  on  the  fact  that  careers 
develop  over  the  life  span.  He  proposed  that  counselors  measure  career  development  through  the 
construct  of  vocational  maturity,  by  identifying  the  coping  methods  used  in  facing  a vocational 
task  at  each  chronological  age.  To  complement  the  construct  of  maturation  as  the  central  pro- 
cess in  adolescent  career  development  he  devised  measures  of  career  maturity,  such  as  the  Care- 
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er  Development  Inventory-School  Form  (CDI-SF).  Adopting  an  integrated  perspective  akin  to 
Super  and  his  later  called  Career  Maturity  concept,  the  author  has  reviewed  recent  advances  in 
guidance  and  counseling  theories  in  order  to  lay  the  theoretical  foundations  for  the  design  of 
her  Career  Development  Program:  Tu  Futuro  Profesional  —TFP—  (Your  Future  Career). 
This  article  shows  that,  although  the  concept  of  career  maturity  has  its  limitations,  the  CDI-SF 
(before  validated  and  adapted  to  Spanish  studentes)  can  be  used  to  measure  the  outcomes  of  the 
Program-  TFP  and  to  evaluate  its  effectiveness.  This  procedure  was  used  in  a pre-post-test 
research  with  4991  Spanish  students  from  the  7th  to  11th  grade. 


I.  INTRODUCCION 

Uno  de  los  puntos  basicos  del  debate  publico  a nivel  europeo  reside  en  la  cualifica- 
cion  de  los  trabajadores  en  la  competencias  requeridas  por  la  sociedad  de  las  oportuni- 
dades  del  nuevo  milenio,  evitando  la  exclusion  social  de  los  grupos  marginados. 
Algunos  expertos  en  Orientacion  (Watts,  1999;  Repetto,  1999)  estiman  que  la  clave 
para  la  nueva  sociedad  europea  de  las  oportunidades  estriba  en  la  preparacion  de  los 
trabajadores  en  las  competencias  profesionales  a traves  de  la  aplicacion  de  programas 
de  orientacion  y educacion  para  la  carrera  a lo  largo  de  la  vida.  Pero  hay  un  periodo  de 
la  vida  que  es  fundamental  para  contribuir  a la  supresion  de  la  exclusion  social  y a la 
cualificacion  y gestion  de  las  carreras:  el  periodo  de  los  12  a los  18  anos,  es  decir  el  de 
la  Educacion  Secundaria,  por  ser  la  etapa  preparatoria  e inicial  de  los  mas  jovenes  a la 
vida  laboral. 

Esta  es  la  finalidad  ultima  que  pretende  la  linea  de  investigacion  que  desde  1989  se 
realiza  en  la  Catedra  de  Orientacion  Educativa  de  la  UNED  con  la  denomination  ante- 
rior de  «Modelo  Comprensivo  del  Desarrollo  Profesional»  (Repetto,  1991;  1992  ) y mas 
tarde  con  la  de  «Beneficios  Educativos,  y Sociales  de  la  Orientacion  para  el  Desarrollo 
de  la  Carrera»  (Repetto,  1999).  Dentro  de  esta  linea,  ademas  de  otros  proyectos  de 
investigacion  y tras  la  revision  del  estado  de  la  cuestion,  se  fundamenta  y elabora  un 
programa  para  capacitar  a los  adolescentes  en  las  competencias  profesionales  «(Repetto, 
1990),  se  adapta  el  «Inventario  del  Desarrollo  de  la  Carrera  — Forma  Escolar»  (Career 
Development  Inventoty-School  Form-CDI-SF) — de  Super  (1981)  y se  realiza  un  estu- 
dio  piloto  (Anaya,  Repetto  1998).  Tras  dos  evaluaciones  sucesivas  del  Programa  en  si 
y en  su  viabilidad  realizadas  por  (Repetto  E.;  Ballesteros  B.;  y Malik  B.,  1995)  y des- 
pues de  sus  respectivas  modificaciones  (Repetto,  1994)  se  disefia  la  version  ultima  del 
Programa  «Tu  Futuro  Profesional»  (Repetto,  1999). 

El  proposito  del  presente  estudio  reside  en  evaluar  la  eficacia  del  Programa  TFP 
usando  el  CDI-SF  de  Super.  Por  ello,  primero  se  ofrecen  unas  consideraciones  sobre 
algunos  conceptos  teoricos  y definiciones  operativas  del  desarrollo  de  la  carrera,  tal 
como  el  de  madurez  de  la  carrera  y del  instrumento  CDI-SF,  y se  presentan  brevemen- 
te  la  fundamentacion  teorica,  los  objetivos  basicos  y el  proceso  de  elaboration  del  Pro- 
grama «Tu  Futuro  Profesional».  En  segundo  lugar,  como  nucleo  del  trabajo,  se 
describe  el  diseno  utilizado  y se  analizan  y discuten  los  resultados  comparativos  de 
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las  ganancias  obtenidas,  con  medidas  de  pre-post-test  en  las  siete  escalas  del  CDI-SF, 
por  una  muestra  de  estudiantes  de  Education  Secundaria  del  estado  espanol.  Los 
resultados  de  la  investigation  corroboran  que  la  adaptation  espanola  de  los  compo- 
nentes  del  CDI-SF  pueden  evaluar  la  eficacia  del  Programa  «Tu  Futuro  Profesional»,  y 
que  dicho  Programa  capacita  a los  estudiantes  espanoles  en  las  actitudes  y competen- 
cias  especxficas  del  desarrollo  de  la  carrera. 

2.  LA  ORIENTACION  PARA  EL  DESARROLLO  DE  LA  CARRERA  Y EL  PRO- 
GRAMA «TU  FUTURO  PROFESIONAL» 

2. 1 . Algunas  aportaciones  recientes  de  la  orientacion  para  el  desarrollo  de  la 
carrera 

Es  evidente  que  aqux  cabrxa  revisar  los  logros  recientes  que  la  orientacion  y la  edu- 
cacion para  la  carrera  nos  ofrecen.  En  otras  publicaciones  se  recogen  con  mas  deteni- 
miento  la  situation  actual  de  la  teorxa  y la  practica  de  la  orientacion  para  el  desarrollo 
de  la  carrera  y sus  xxltimas  aportaciones  tanto  en  Europa  como  en  Estados  Unidos 
(Repetto,  2000).  Pero,  por  la  evidente  limitation  de  espacio,  unicamente  va  a ser  obje- 
to  de  reflexion  algxmas  de  las  concepciones  teoricas  y definiciones  opera tivas  que  se 
relacionan  con  el  trabajo  que  nos  ocupa.  De  esta  suerte,  se  van  a formular  unas  consi- 
deraciones  sobre  el  papel  asignado  a la  madurez  vocacional  en  el  desarrollo  de  la 
carrera,  sus  nuevas  re-formulaciones,  y el  peso  asignado  recientemente  a las  variables 
demograficas  tales  como  la  edad,  el  sexo  y la  cultura. 

2.2.  El  papel  central  de  Super  en  el  desarrollo  de  la  carrera 

Parson  (1909)  fue  el  primero  que  escribio  sobre  la  relacion  de  las  personas  con  las 
profesiones  (el  ajuste  hombre-trabajo),  cuando  estuvo  trabajando  con  los  jovenes  para 
facilitarles  su  transition  al  mundo  laboral.  El  metodo  de  hacer  corresponder  a cada 
profesion  con  una  personalidad,  permitio  simplificar  su  utilization,  y que  se  concibie- 
se  el  nuevo  modelo  de  Holland,  quien  en  1959  desarrollo  su  procedimiento  de  valida- 
tion, mas  tarde  actualizada  (Holland,  1985). 

En  contraste  con  los  modelos  estructurales  predominantes  de  aquel  momento, 
Super  (1957)  centro  su  atencion  en  la  evolution  de  los  comportamientos  vocacionales, 
adaptando  de  Buehler  (1933)  el  estudio  sobre  los  estadios  vitales  para  organizar  el 
comportamiento  vocacional  a lo  largo  de  la  vida.  Mientras  que  las  elecciones  vocacio- 
nales se  consideraban  de  forma  aislada,  el  trabajo  de  Super  sugiere  que  todas  esas  elec- 
ciones deben  tener  en  cuenta  el  pasado  y el  futuro  de  la  persona.  El  desarrollo  de  la 
carrera  lo  concibe  como  el  proceso  de  crecimiento  y aprendizaje  del  sujeto,  que  tiene 
como  resultado  la  modification  y/  o el  incremento  del  repertorio  de  la  conductas  voca- 
cionales de  una  persona.  Su  vision  particular  hace  referenda  a que  en  cada  estadio 
vital  — crecimiento,  exploration,  establecimiento  o mantenimiento  y declive — se 
imponen  ciertas  tareas  que  deben  dirigirse  en  funcion  de  algunos  prerrequisitos  del 
desarrollo,  y que  hay  evidencias  objetivas  de  que  en  relacion  a su  madurez  vocacional, 
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hay  diferencias  entre  los  individuos  (Super  1983).  Su  concepto  de  prerrequisitos  del 
desarrollo,  se  encuentra  reflejado  en  el  constructo  de  madurez  vocacional  como  la  pre- 
paration para  enfrentarse  con  las  tareas  de  desarrollo  de  cada  una  de  las  propias  eta- 
pas  de  la  vida  ( «readiness  to  cope  with  the  developmental  tasks  of  one's  life  stage»)  (Super  y 
Jordaan,  1973,  pp.  4).  De  acuerdo  con  el  Career  Pattern  Study  (Super  1957),  los  anos  pos- 
teriores  a abandonar  la  Educacion  Secundaria  Postobligatoria,  estan  dirigidos  a la 
exploracion  para  lograr  la  madurez  en  la  carrera  estableciendo  un  patron  vocacional 
adulto. 

Por  una  parte,  el  papel  central  de  la  «madurez  vocacional»  en  el  desarrollo  de  la 
carrera  se  esta  reconsiderando  en  la  actualidad.  En  este  sentido,  conviene  solo  apun- 
tar  algunas  de  las  sugerencias  aportadas  por  sus  seguidores.  Una  seccion  especial  de 
The  Career  Development  Quarterly  (1998)  analiza  la  prospectiva  de  la  teoria  de  Super. 
Las  sugerencias  de  los  autores  no  se  refieren  unicamente  a las  mejoras  teoricas,  sino 
que  tambien  muestran  su  utilidad  para  el  trabajo  de  los  orientadores  practicos.  En 
este  sentido,  Herr  (1997)  guiado  por  sus  estudios  desde  la  perspectiva  social  y cons- 
tructivista,  recomienda  mejorar  ciertos  aspectos  de  la  teoria  de  Super,  tales  como  la 
modification  de  algunas  dimensiones  del  autoconcepto,  y manifiesta  su  preferencia 
por  el  termino  de  adaptabilidad  en  la  carrera  sobre  el  de  madurez  vocacional.  Savic- 
kas  (1997)  propone  la  adaptabilidad  como  un  constructo  puente  que  integra  los  diver- 
sos  segmentos  del  desarrollo  de  la  carrera  a lo  largo  de  la  vida.  En  relation  a la 
exploracion  Blustein  (1997)  defiende  la  perspectiva  de  un  un  «contexto  enriquecido» 
como  dimension  basica  de  la  adaptabilidad  a los  roles  vitales,  concluyendo  que  el 
comportamiento  exploratorio  esta  constituido  por  una  serie  de  destrezas  relevantes 
para  el  desarrollo  profesional  del  sujeto.  Osborne,  Brown,  Niles  y Miner  (1997)  en  su 
libro  titulado  Career  Development  Assessment  and  Counseling ; Application  of  the  Donald 
E.  Super  C-DAC  Approach  (1997),  revisan  la  teoria  y las  investigaciones  que  subrayan 
la  valoracion  del  desarrollo  de  carrera.  En  la  misma  linea,  Vondracek  y Reitzle  (1998) 
sugieren  que  los  modelos  de  proceso  de  la  madurez  vocacional  deberian  reemplazar- 
se  por  un  modelo  de  «momentos»,  que  capturen  la  interrelation  entre  la  persona  y el 
ambiente. 

Por  otra  parte,  existen  en  la  actualidad  muchos  proyectos  de  investigacion  que 
defienden  la  relevancia  de  las  variables  demograficas,  tales  como  la  edad,  el  sexo  y la 
cultura.  Por  ejemplo  Healy,  Mitchell  y Mourton  (1987)  han  confirmado  que  la  madurez 
vocacional  aumenta  con  la  edad;  Luzzo  (1995),  afirma  que  las  jovenes  obtienen  niveles 
significativamente  mas  altos  de  madurez  vocacional  que  los  jovenes;  y Post-Kammer 
(1987)  aporta  que  los  estudiantes  de  los  cursos  superiores  obtienen  niveles  mayores  en 
su  madurez  vocacional  que  los  de  cursos  inferiores.  Asi  mismo,  Schmitt-Rodermund  y 
Silbereisen  (1998)  afirman  que  se  deberia  reconocer  la  importancia  que  las  condiciones 
culturales  e historicas  tienen  para  el  desarrollo  de  la  carrera. 

Por  ultimo,  en  los  ensayos  en  honor  a Donald  Super,  en  The  Develpment  Quarterly 
(1994)  se  honro  su  memoria  mostrandonos  la  valia  de  sus  aportaciones.  Como  Savic- 
kas  dice:  «la  conceptualization  y medida  del  desarrollo  de  la  carrera  de  Super  ofrece 
un  trampolin  actual  para  una  futura  teoria  del  desarrollo  de  la  carrera  y su  evaluacion. 
(1994,  p.  61.) 
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2.3.  Estructura,  objetivo  general  y proceso  de  validacion  del  programa  «Tu  Futuro 
Profesional»  — TFP — 

Los  programas  compresivos  del  desarrollo  de  la  carrera  para  adolescentes  no 
estan  muy  extendidos  en  Espana.  Algunos  de  los  programas  de  orientacion  vocacio- 
nal  extranjeros  se  han  traducidos  al  espanol  o adaptados  a nuestro  contexto,  como  el 
de  Pelletier  y Bujold  (1984),  que  fue  adaptado  por  Alvarez  con  el  titulo  «Tengo  Que 
Decidirme»  (1994),  mas  tarde  validado  por  Cruz  (1997).  Tambien  se  han  disenado 
algunas  intervenciones  para  mejorar  diversos  objetivos  especificos  de  la  orientacion 
vocacional.  Asi  contamos  con  la  existencia  de  programas  que  ayudan  a los  estudian- 
tes  en  el  proceso  de  toma  de  decisiones,  tales  como  el  de  Rodriguez  Moreno 
«Aprender  a Tomar  Decisiones»  (1994)  o el  de  Delgado  «Toma  la  iniciativa»  (1995). 
Pero  no  existe  un  programa  comprensivo  e integrado  en  el  curriculum  escolar,  que 
capacite  en  las  habilidades  y competencias  de  los  estudiantes  para  su  desarrollo  pro- 
fesional. 

Debido  a esta  carencia  de  programas  comprensivos  del  desarrollo  de  la  carrera,  en 
1989  se  inicia  en  la  Catedra  de  Orientacion  Educativa  la  linea  de  investigacion  «Mode- 
lo  Comprensivo  del  Desarrollo  Profesional  (Repetto,  1991),  hoy  titulada  «Beneficios 
educativos  y sociales  de  la  Orientacion  para  el  desarrollo  profesional»  (Repetto,  2000). 
Despues  de  revisar  el  estado  de  la  cuestion,  se  disena  el  programa  «Tu  Futuro  Profe- 
sional»  — TFP — (Repetto,  1990;  1994;  1999)  para  el  entrenamiento  de  los  estudiantes 
de  12  a 18  anos,  en  las  competencias  esperificas  del  desarrollo  de  la  carrera. 

El  Programa  TFP  consta  de  los  cuatro  Modulos  siguientes:  Autoconocimiento, 
Toma  de  Decisiones,  Exploracion  de  la  Carrera,  y Planificacion  y Gestion  de  la  Carre- 
ra. Cada  modulo  esta  organizado  en  Unidades  dentro  de  las  cuales  se  indican  los 
objetivos  de  aprendizaje,  las  actividades,  las  temporalizacion,  los  pasos  para  su  rea- 
lization, los  recursos  necesarios,  y las  instrucciones  generales  para  el  tutor-aplicador 
del  programa.  A su  vez,  se  propone  una  metodologia  activa  que  favorece  la  partici- 
pation de  los  estudiantes,  de  sus  familias  y de  los  miembros  de  la  Comunidad  Edu- 
cativa. 

Los  Modulos  de  Autoconocimiento,  Toma  de  Decisiones  y Exploracion  de  la  Carre- 
ra constan  de  tres  niveles: 

• Nivel  I:  Primer  ciclo  de  ESO  (12-14  anos) 

• Nivel  II:  Segundo  ciclo  de  ESO  (14-16  anos) 

• Nivel  III:  Bachilleratos,  Ciclos  Formativos  de  Grado  Superior  y Programas  de 
Garantia  Social  (16-18  anos). 

El  ultimo  modulo  de  Planificacion  y Gestion  de  la  Carrera  solo  tiene  el  Nivel  II  y III. 

. El  objetivo  general  del  programa  reside  en  capacitar  a los  estudiantes  en  las  compe- 
tencias de  auto-conocimiento  y conocimiento  del  otro,  en  la  toma  de  decisiones,  y en 
las  actitudes  positivas  hacia  la  exploracion,  planificacion  y gestion  de  la  carrera. 

La  fundamentacion  teorica  del  programa,  se  basa  principalmente  en  la  teoria  del 
Desarrollo  de  la  Carrera  de  Super,  la  teoria  del  Aprendizaje  de  Krumboltz  (1979, 1988 
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y 1993),  la  Constructivista  de  Peavy  (1996),  y en  su  ultima  version,  tambien  se  ha  con- 
siderado  el  enfoque  multicultural  y transcultural  de  Pederson  (1985)  y Sue  (1998). 

La  perspectiva  del  desarrollo  de  Super  fundamenta  la  estructura  general  del  pro- 
grama  y la  secuencia  de  las  actividades,  haciendo  que  estas  se  correspondan  con  los 
estadios  del  desarrollo  del  adolescente.  Mas  espedficamente,  este  enfoque  nos  sirve  de 
base  para  las  Unidades  que  estan  dirigidas  al  autoconocimiento  de  intereses  y valores 
vocacionales,  a la  toma  de  decisiones  y algunas  de  la  exploration,  planificacion  y ges- 
tion  de  la  carrera. 

La  teoria  del  aprendizaje  de  Krumboltz  ha  inspirado  el  diseno  de  las  Unidades  diri- 
gidas a la  mejora  de  las  habilidades  para  la  solution  de  problemas  y la  interaction  con 
el  entomo,  incluyendo  actividades  de  aprendizaje  practico  que  contribuyen  a la  modi- 
fication de  las  competencias  individuales,  habitos  de  trabajo,  creencias  y valores. 

La  aproximacion  constructivista  de  Peavy,  fundamenta  las  actividades  en  las  que 
los  estudiantes  participan  en  pequenos  grupos,  considerandolos  como  un  proyecto 
dinamico  dedicado  a la  construction  de  su  propia  personalidad  y a la  de  los  otros.  De 
este  modo,  la  inclusion  del  «Yo  como  Proyecto»  y la  co-construccion  de  nuestra  perso- 
nalidad, complementa  la  perspectiva  de  Super  del  autoconcepto. 

Han  existido  tres  versiones  consecutivas  del  Programa  (Repetto  1990, 1994  y 1999) 
durante  su  proceso  de  elaboration,  debido  a las  sucesivas  validaciones  de  expertos 
realizadas.  La  segunda  validation  de  expertos  se  presento  en  la  Asociacion  Nacional 
del  Desarrollo  de  la  Carrera  (NCDA),  en  la  Conferencia  en  San  Francisco  (Repetto, 
Ballesteros  y Malik,  1995).  Los  aspectos  evaluados  fueron  la  suficiencia,  la  relevancia  y 
el  alcance  de  los  objetivos,  el  tamano  del  grupo,  la  temporalizacion,  los  recursos,  la  fia- 
bilidad,  la  viabilidad,  y la  adecuacion  de  las  actividades  y la  puesta  en  marcha  del  pro- 
grama. Los  elementos  con  puntuaciones  mas  bajas  se  modificaron,  y se  anadieron 
otras  unidades  y actividades  acordes  con  la  perspectiva  constructivista  y adaptadas  a 
la  nueva  legislation  educativa  y laboral  espanola.  Esta  tercera  version  del  programa  es 
la  que  se  ha  evaluado  durante  el  ano  escolar  97-98.  Los  resultados  de  la  evaluacion  son 
los  que  se  muestran  en  este  trabajo. 

3.  METODOLOGIA 

3.1.  Diseno 

Despues  de  realizar  las  validaciones  de  expertos  citadas  y un  estudio  piloto,  el  pre- 
sente trabajo  pretende  la  evaluacion  de  los  resultados  de  la  aplicacion  de  TFP  median- 
te  un  diseno  cuasi-experimental  pre-post-test  de  grupo  control  y experimental.  Los 
grupos  los  forman  parejas  de  alumnos  de  clases  del  mismo  nivel  educativo,  donde 
cada  clase  se  asigna  aleatoriamente  a cada  uno  de  los  grupos.  El  programa  de  orienta- 
tion se  aplica  a los  alumnos  del  grupo  experimental  durante  un  ano  academico,  obte- 
niendose  medidas  independientes  de  cada  estudiante. 

El  constructo  de  Super  de  la  madurez  vocacional  («career  maturity»),  se  evalua  con 
su  Inventario  del  Desarrollo  de  la  Carrera  (Career  Development  Inventory  School 
Form;  CDI-SF).  Se  considera  variable  independiente  la  aplicacion  del  Programa  y 
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como  variable  dependiente  el  aprendizaje  de  los  alumnos  en  las  competencias  para  el 
desarrollo  profesional  en  las  que  entrena  el  TFP  evaluadas  a traves  de  las  siete  escalas 
del  Inventario  CDI-SF.  EL  programa  se  administra  a una  muestra  de  estudiantes  espa- 
noles  de  ESO,  Bachillerato,  Ciclos  Formativos  de  Grado  Medio  y Programas  de  Garan- 
tia  Social,  durante  el  ano  academico  97-98.  Para  estimar  las  ganancias  del  grupo 
experimental  en  comparacion  con  el  de  control,  se  administra  el  CDI-SF  a todos  los 
estudiantes  al  comienzo  y al  final  de  dicho  curso.  El  grupo  experimental  se  entrena 
con  el  programa  TFP,  mientras  que  el  del  control  no  recibe  ningun  entrenamiento. 
Dado  que  el  desarrollo  de  la  carrera  varia  en  funcion  del  curso  o nivel  en  el  que  se 
encuentran  los  estudiantes  dicha  variable  se  incluye  tambien  en  el  estudio. 

Las  hipotesis  de  la  investigation  cabe  formularlas  diciendo: 

1.  Los  estudiantes  que  se  entrenan  con  el  programa  TFP  obtienen  puntuaciones 
significativamente  mas  altas  en  las  siete  variables  del  CDI-SF,  mostrando 
ganancias  significativas  en  su  desarrollo  profesionall  en  comparacion  con  los 
grupos  que  no  reciben  ningun  tipo  de  entrenamiento. 

2.  Los  estudiantes  de  niveles  educativos  superiores  muestran  ganancias  significa- 
tivas en  su  desarrollo  de  la  carrera  en  comparacion  con  aquellos  procedentes  de 
niveles  inferiores. 

3.2.  Muestra 

La  muestra  se  obtiene  con  el  apoyo  de  los  estudiantes  matriculados  en  el  curso  de 
Orientation  e Intervention  Psicopedagogica,  de  la  Facultad  de  Educacion  de  la  UNED. 
Esta  formada  por  4.991  estudiantes  de  Educacion  Secundaria  (2.484  mujeres  y 2.507 
hombres)  habiendose  perdido  87  casos.  Los  grupos  se  forman  tomando  dos  clases  del 
mismo  nivel  en  diferentes  centres  educativos,  asignando  de  manera  aleatoria  cada 
clase  al  grupo  control  (2.388)  y al  experimental  (2.516).  La  edad  de  los  participates 
oscila  entre  los  11  y los  18  anos,  siendo  uno  de  11  arios  y doce  de  18  anos.  La  mayorxa 
de  los  participates  pertenecen  a los  mveles  2°  de  ESO  (2.826),  1°  de  ESO  (958)  y 1°  de 
Bachillerato /Ciclos  Formativos  (611),  reduciendose  la  muestra  en  3°  de  ESO  (343),  4° 
de  ESO  (195)  y 2°  de  Bachillerato /Ciclos  Formtivos  (58). 

3.3.  Procedimiento 

Para  obtener  los  efectos  del  programa  TFP  en  las  actitudes  y competencias  profe- 
sionales  de  los  adolescentes,  se  administra  a toda  la  muestra  la  adaptacion  espariola 
del  CDI-SF  de  Super  (Anaya  y Repetto,  1998)  tanto  al  principio  como  al  final  del  curso. 
El  CDI-SF,  evalua  siete  dimensiones  de  la  madurez  vocacional  a traves  de  las  siete 
escalas  siguientes:  cuatro  de  ellas  valoran  las  dimensiones  especlficas  de  la  Platfica- 
cion  de  la  Carrera  (CP  — 20  items — ),  de  la  Exploration  de  la  Carrera  (CE  — 20  items — ), 
de  la  Toma  de  decisiones  (DM  — 20  items — ) y de  la  Itormacion  sobre  el  mundo  del 
trabajo  (WW  — 20  items — ).  Ademas,  se  incluyen  dos  grupos  de  factores  de  caracter 
conativo  y cogmtivo:  las  Actitudes  para  el  Desarrollo  de  la  Carrera  (CDA),  que  combi- 
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na  CP  y CE,  y el  Conocimiento  de  las  habilidades  para  el  Desarrollo  de  la  Carrera 
(CDK),  que  combina  DM  y WW.  La  ultima  escala,  denominada  Orientacion  Total  para 
la  Carrera  (COT),  se  compone  de  todas  las  descritas  anteriormente  aportandonos  una 
valoracion  global  sobre  la  madurez  vocacional. 

Las  autoridades  educativas,  concedieron  el  permiso  para  administrar  el  CDI-SF  a 
ambos  grupos  (control  y experimental),  y para  aplicar  el  programa  en  los  grupos  expe- 
rimentales.  A los  participates  se  les  asegura  que  los  datos  seran  confidenciales  y los 
resultados  de  las  respuestas  anonimos.  Ademas  se  les  da  la  opcion  de  no  participar  en 
el  estudio  si  no  lo  desean;  aunque  esta  opcion  solo  le  eligieron  cuatro  alumnos. 

3.4.  Analisis 

Las  ganancias  en  cada  variable  se  miden  mediante  las  diferencias  obtenidas  entre 
las  medidas  pre-test  y post-test  tanto  en  el  grupo  control  como  en  el  experimental.  De 
este  modo,  se  constituye  una  nueva  variable:  las  puntuaciones  medias  de  las  ganan- 
cias. Se  lleva  a cabo  un  analisis  de  varianza  (ANOVA)  con  las  puntuaciones  de  ganan- 
cias para  comprobar  si  existen  diferencias  significativas  entre  los  estudiantes  en 
funcion  de  las  variables  Grupo  (Experimental /Control)  y Nivel  (l°-4°  de  ESO  y Bachi- 
lleratos,  Ciclos  Formativos  de  Grado  Medio  y Programas  de  Garantfa  Social). 

4.  DISCUSION  DE  LOS  RESULTADOS 

En  primer  lugar,  se  van  a mostrar  las  puntuaciones  medias  de  Is  ganacias  obtenidas 
por  los  alumnos  en  las  siete  escalas  de  CDI.  Por  una  parte,  las  medias  de  los  estudian- 
tes del  grupo  experimental  (Post-test)  son  mucho  mas  altas  que  las  puntuaciones  del 
grupo  control.  Debemos  prestar  especial  atencion  a las  altas  diferencias  entre  las 
medias  de  las  ganancias  en  las  variables  actitudinal  — CP  y CE — (4.83  y 8.35),  mien- 
tras  que  la  media  de  las  variables  cognitivas  (DM  y WW)  son  muy  bajas  (1.08  y 0.76). 
Asf  mismo,  las  medias  de  las  ganancias  de  las  variables  compuestas  resultan  mas  altas, 
en  el  grupo  de  variables  actitudinales,  que  en  el  bloque  de  las  cognitivas  (CDA=9.65  y 
CDK=1.75). 

Las  puntuaciones  medias  de  la  variable  WW  en  el  grupo  control  merece  una  espe- 
cial atencion  (-0.07).  Una  explicacion  plausible  para  este  valor  negativo  podria  ser  que 
la  mayoria  de  los  estudiantes  en  la  Educacion  Superior  tinen  muy  poca  information 
sobre  el  mercado  laboral.  Esto  va  probablemente  unido  al  hecho  de  que  ningun  pro- 
grama de  desarrollo  de  la  carrera  se  aplica  en  los  Centros  Educativos  y que  la  infor- 
macion sobre  el  mundo  del  trabajo  solo  se  les  facilita  durante  el  ultimo  ano  de  la 
Educacion  Post-obligatoria.  Las  medias  de  las  ganancias  del  grupo  experimental  no 
son  tampoco  muy  altas  (0.76).  Sin  embargo,  es  muy  importante  destacar  la  gran  dife- 
rencia  entre  las  medias  de  las  variables  totales  COT,  obteniendo  tan  solo  el  grupo  con- 
trol una  puntuacion  de  0.86,  mientras  que  el  experimental  obtiene  un  valor  de  12.24. 

En  segundo  lugar,  se  analiza  la  media  de  las  ganancias  de  los  grupos  de  acuerdo  al 
nivel  educativo  al  que  corresponden  y se  obtienen  los  siguientes  resultados:  en  4°  de 
ESO,  las  ganancias  son  claramente  mayores  en  el  grupo  experimental,  por  ejemplo  en 


ERiC 


487 


El  programa  de  orientation  «Tu  futuro  profesional»  y su  evaluation 


501 


la  variable  CP  el  grupo  control  obtiene  -0.18  y el  experimental  4.37,  en  CE  el  control 
obtiene  1.56  y el  experimental  6.47;  asf  como  en  la  variable  CDA  y COT  con  diferencias 
aproximadas  de  11  puntos.  Estas  diferencias  son  mas  claras  en  el  primer  curso  de  Edu- 
cation Secundaria  Post-obligatoria. 

En  tercer  lugar,  se  realiza  un  analisis  de  varianza  con  las  puntuaciones  de  las 
ganancias  del  grupo  experimental  en  funcion  de  las  diferencias  obtenidas  en  el  pre- 
test y post.test  del  CDI:  WW  (GC=2.78/GE=10.00),  CE  (GC=0.75/GE=10.32),  CDA 
(GC=3.50  / GE=21 .04),  y COT  (GC=3.71  /GE=23.28). 

TABLA 1 

anAlisis  de  varianza  de  las  ganancias  del  grupo  experimental  en 
funciOn  de  las  diferencias  pre-test/post-test. 


ANOVA 


Suma  de 
cuadrados 

gi 

Media 

cuadratica 

F 

Sig. 

GANANCIA  DEL  CP 

Inter-grupos 

16344.913 

1 

16344.913 

109.709 

.000 

Intra-grupos 

718106.241 

4820 

148.985 

Total 

734451.154 

4821 

GANANCIA  DEL  CE 

Inter-grupos 

52373.584 

1 

52373.584 

74.038 

.000 

Intra-grupos 

3399711.3 

4806 

707.389 

Total 

3452084.9 

4807 

GANANCIA  DEL  DM 

Inter-grupos 

1134.175 

1 

1134.175 

102.438 

.000 

Intra-grupos 

53421.564 

4825 

11.072 

Total 

54555.739 

4826 

GANANCIA  DEL  WW 

Inter-grupos 

816.529 

1 

816.529 

66.241 

.000 

Intra-grupos 

59599.004 

4835 

12.327 

Total 

60415.533 

4836 

GANANCIA  DEL  CDA 

Inter-grupos 

108400.101  . 

1 

108400.101 

35.424 

.000 

Intra-grupos 

13718271 

4483 

3060.065 

Total 

13826671 

4484 

GANANCIA  DEL  CDK 

Inter-grupos 

2837.879 

1 

2837.879 

56.109 

.000 

Intra-grupos 

235489.928 

4656 

50.578 

Total 

238327.807 

4657 

GANANCIA  DEL  COT 

Inter-grupos 

139344.502 

1 

139344.502 

57.900 

.000 

Intra-grupos 

10353363 

4302 

2406.639 

Total 

10492707 

4303 

Como  puede  observarse  las  F de  cada  una  de  las  variables  evaluadas  por  el  CDI 
son  muy  elevadas  y altamente  significativas.  Destacando  especialmente,  la  de  Planifi- 
cacion  de  la  Carrera  (F=  109.709),  Toma  de  Decisiones  (F=  102.438)  y exploracion  de  la 
carrera  (F=74.038). 
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Por  ultimo,  se  obtienen  los  resultados  del  analisis  de  ganancias  de  los  grupos  en 
funcion  del  curso  o nivel  educativo.  Los  mas  significativos  corresponden  a 1°  de  Bachi- 
llerato  que  se  muestran  en  la  tabla  2. 


TABLA2 

anAlisis  de  varianza  de  las  ganancias  de  los  grupos  en  funciOn 

DEL  CURSO  1 0 DE  BACHILLERATO 


ANOVA 


Suma  de 
cuadrados 

gi 

Media 

cuadr£tica 

F 

Sig. 

GANANCIA  DEL  CP 

Inter-grupos 

12084.107 

5 

2416.821 

15.488 

.000 

Intra-grupos 

762577.852 

4887 

156.042 

Total 

774661 .960 

4892 

GANANCIA  DEL  CE 

Inter-grupos 

30482.302 

5 

6096.460 

8.552 

.000 

Intra-grupos 

3452336.9 

4843 

712.851 

Total 

3482819.2 

4848 

GANANCIA  DEL  DM 

Inter-grupos 

120.351 

5 

24.070 

2.130 

.051) 

Intra-grupos 

54973.444 

4864 

11.302 

Total 

55093.795 

4869 

GANANCIA  DEL  WW 

Inter-grupos 

247.266 

5 

49.453 

3.945 

.001 

Intra-grupos 

61092.852 

4874 

12.534 

Total 

61340.118 

4879 

GANANCIA  DEL  CDA 

Inter-grupos 

45979.457 

5 

9195.891 

2.021 

.073 

Intra-grupos 

20710744 

4552 

4549.812 

Total 

20756723 

4557 

GANANCIA  DEL  CDK 

Inter-grupos 

526.284 

5 

105.257 

1.669 

.139 

Intra-grupos 

298667.517 

4735 

63.077 

Total 

299193.801 

4740 

GANANCIA  DEL  COT 

Inter-grupos 

118311.510 

5 

23662.302 

4.443 

.000 

Intra-grupos 

23288991 

4373 

5325.633 

Total 

23407303 

4378 

Merece  destacarse  el  hecho  de  que  solo  son  significativas  las  ganancias  del  curso  de 
1°  de  Bachillerato  en  Planificacion  de  la  Carrera  y Exploration  de  la  carrera  y en  la 
Orientation  Total  para  el  Desarrollo  de  la  Carrera,  asi  como  en  la  Information  del 
Mundo  del  Trabajo. 

Por  tanto,  de  los  resultados  de  ambos  ANOVA  caben  deducir  las  siguientes  conclu- 
siones: 

1.  Existen  diferencias  significativas  entre  los  grupos  control  y experimental  en  las 
puntuaciones  obtenidas  en  todas  las  escalas  tras  la  aplicacion  del  programa  TFP 
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Estas  diferencias  son  siempre  a favor  del  grupo  experimental,  tal  y como  pode- 
mos  observar  en  la  tabla  1. 

2.  En  funcion  del  grado,  en  1°  de  Bachillerato  existen  diferencias  significativas  en 
todas  las  variables  excepto  en  DM  (p=0.059),  CDA  (p=0.073)  y CDK  (p=0.139), 
tal  y como  se  observa  en  los  resultados  de  la  tabla  2. 

En  consecuencia,  podemos  afirmar  que  nuestra  investigation  confirma  la  hipotesis 
primera,  en  la  cual  se  predicen  las  ganancias  significativas  en  los  estudiantes  espanoles 
de  Educacion  Secundaria  Obligatoria  y Post-obligatoria  en  relacion  con  su  nivel  de  Auto- 
conocimiento,  el  aprendizaje  de  la  Toma  de  Decisiones,  y la  Exploration,  Planificacion  y 
Gestion  de  la  carrera.  La  hipotesis  segunda,  se  demuestra,  solo  respecto  a 1°  de  Bachille- 
rato confirmando  los  estudios  previos  excepto  en  las  variables  CP,  CE,  WW  y COT. 

5.  CONCLUSIONES 

Los  resultados  de  nuestro  estudio  en  relacion  a la  evaluation  del  TFP,  sugieren  un 
potencial  efecto  positivo  del  programa  para  el  desarrollo  de  la  carrera  en  los  estudian- 
tes espanoles  de  la  Educacion  Secundaria  Obligatoria  y Post-obligatoria.  Las  ganan- 
cias en  el  post-test  en  relacion  a las  puntuaciones  del  pre-test  de  los  estudiantes  que 
reciben  el  tratamiento  con  TFP,  son  sorprendentes  y marcan  un  limite  claro  con  los 
estudiantes  que  no  recibieron  el  programa,  teniendo  siempre  como  referencia  y como 
limite  las  generalizaciones  en  funcion  de  la  muestra  seleccionada.  Los  resultados  han 
sido  ciertamente  mayores  de  los  que  los  autores  esperaban. 

Futuros  disenos  de  investigacion,  podran  comprender  mejor  el  papel  que  la 
madurez  vocacional  juega  en  el  desarrollo  de  la  carrera  de  los  adolescentes,  para  lo 
que  se  deben  continuar  evaluando  las  diferencias  potenciales  en  relacion  a las  varia- 
bles demograficas  y culturales.  Necesitamos  ademas  tener  presente  otras  variables 
como  los  factores  socioeconomicos  y culturales.  Posteriores  investigaciones  deberian 
superar  las  limitaciones  del  presente  estudio,  como  la  falta  de  information  sobre  la 
realidad  socioeconomica  y geografica  de  la  muestra. 

Otras  limitaciones  de  la  investigacion  surgen  de  la  elaboration  del  programa 
TFP  propiamente.  Nuevas  Unidades  se  deberan  introducir  para  tener  presentes  las 
aportaciones  inter-culturales  y multiculturales  (Pedersen,  1985;  Sue,  1998).  Ambas 
perspectivas  seran  utiles  para  capacitar  a los  estudiantes  para  llegar  a ser  conscien- 
tes  de  los  efectos  de  las  clases  sociales,  culturales  y del  genero  en  el  desarrollo  de  la 
carrera.  Resulta  necesario  disenar  actividades  para  ayudar  en  el  desarrollo  de  las 
competencias  de  los  estudiantes  (conocimientos,  actitudes  y habilidades),  para  fun- 
cionar  efectivamente  en  una  sociedad  plural  y ser  capaces  de  negociar  y comunicar- 
se  con  personas  de  diversas  procedencias.  Espana  tiene  una  gran  diversidad 
regional  de  culturas  y lenguas,  y en  los  anos  recientes  ha  habido  un  incremento  de 
la  inmigracion  desde  el  Este  de  Europa,  Norte  de  Africa  e Iberoamerica,  diversidad 
que  se  refleja  en  las  escuelas.  Con  la  introduction  de  variables  demograficas  en  el 
estudio,  y una  nueva  version  revisada  del  TFP,  podran  clarificarse  otros  efectos  del 
programa. 
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A pesar  de  las  limitaciones  del  estudio,  los  resultados  sugieren  acciones  particula- 
res  en  las  que  el  orientador  pueda  dirigir  mas  adecuadamente  el  desarrollo  de  la  carre- 
ra  de  los  adolescentes.  Asumiendo  que  la  madurez  vocacional  se  incrementa  de  forma 
natural  a lo  largo  de  los  anos,  los  orientadores  deben  desarrollar  inter venciones  siste- 
maticas,  que  se  integren  en  la  experiencia  curricular,  aportando  a los  estudiantes 
numerosas  oportunidades  para  desarrollar  las  actitudes  y las  competencias  para  su 
desarrollo  profesional.  Evaluaciones  periodicas  de  las  competencias  de  los  estudiantes 
deberian  permitir  a los  orientadores  determinar  la  efectividad  de  los  programas  y 
considerar  estrategias  alternativas  para  incrementar  y mejorar  el  desarrollo  de  sus 
carreras. 

Tambien  se  necesita  incrementar  la  conciencia  de  la  politica  educativa  espanola  y 
de  las  autoridades,  recordando  la  utilidad  de  estos  programas  de  orientacion  para  la 
carrera,  insertarlos  dentro  del  Curriculum,  y aplicarlos  en  todos  los  niveles  educativos 
y a lo  largo  del  ciclo  vital.  Encuentros  internacionales  de  expertos  en  orientacion  y 
politicos,  como  el  que  tuvo  lugar  en  Ottawa  en  1999,  y que  se  retomara  de  nuevo  en  el 
2001  en  Vancouver,  pueden  ser  muy  beneficiosos  para  la  interaction  entre  los  expertos 
de  la  politica  educativa  y de  la  orientacion.  Hoy  es  un  imperativo  que,  tanto  los 
gobiernos  como  los  responsables  de  la  educacion  tomen  conciencia  de  los  beneficios 
educativos  y sociales  que  los  programas  para  la  orientacion  del  desarrollo  profesional 
tienen  en  la  sociedad  del  nuevo  milenio  y asi  evitar  la  exclusion  social  de  los  grupos 
marginados.  Podemos  concluir  con  las  palabras  del  Prof.  Hiebert  en  su  publicacion 
Making  Waves:  Career  Development  and  Public  Policy:  «Muchas  de  las  actuaciones  politi- 
cas  relativas  a la  estructura  y la  oferta  del  servicio  para  el  desarrollo  de  la  carrera  debe- 
rian implicar  cambios  radicales  que  nos  guien  exitosamente  dentro  de  la  nueva  era» 
(1999,  p.l): 

Entre  otros  asuntos,  deberiamos  trabajar  en  la  redefinicion  del  trabajo,  teniendo  en 
cuenta  la  globalization  actual  de  nuestro  mercado  laboral,  los  nuevos  roles  profesiona- 
les  y los  servicios  que  la  sociedad  del  nuevo  milenio  nos  ofrece.  Afortunadamente,  el 
trabajo  presentado  en  este  articulo  podra  contribuir  a incrementar  estas  relaciones,  y a 
estimular  en  el  diseno  de  nuevas  intervenciones  psicopedagogicas  que  capaciten  a los 
sujetos  en  su  desarrollo  profesional. 
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RESUMEN 

En  este  articulo  defendemos  la  conception  del  orientador  como  un  investigador  de  la  accidn. 
Pretendemos,  mediante  la  evaluacion  de  programas,  obtener  information  que  tenga  impacto  sobre 
el  sistema  y sus  componentes  (humanos  y materiales)  y que  nos  conduzca  a la  action  y al  cambio. 
Es  muy  ventajoso  para  los  practicos  que  no  solo  sean  consumidores  de  resultados  de  investigation 
sino  que  tambien  la  produzcan.  Para  ello  proponemos  una  serie  de  analogias  entre  las  fases  que 
corresponden  a una  buena  practica  de  la  orientation  y las  de  investigation  de  logros  o resultados. 

ABSTRACT 

In  this  article  we  defend  a conception  of  the  counselor  as  someone  who  investigates  action. 
Program  evaluation  is  a means  to  obtaining  information  that  enables  us  to  act  upon  the  system 
and  its  components  (both  material  and  human)  and  to  change  it.  Practitioners  should  be  not 
just  consumers  of  research  results  but  also  producers.  To  that  end  we  propose  a number  of  ana- 
logies between  the  stages  corresponding  to  the  good  practice  of  counseling  and  those  correspon- 
ding to  achievement  research. 


PRESUPUESTOS  DE  PARTIDA 

La  orientation  en  nuestro  pais  comienza  a adquirir  rango  profesional  cuando  se 
introduce  en  los  centros  educativos  a partir  de  los  anos  1990  con  motivo  de  la  implan- 
tation progresiva  de  la  reforma  educativa  (LOGSE).  Hasta  esos  momentos,  al  igual 
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que  en  otros  pafses  donde  la  orientacion  gozaba  ya  de  una  tradicion  de  mas  de  40  anos 
de  existencia,  la  orientacion  no  era  una  verdadera  profesion  sino  mas  bien  una  conste- 
lacion  de  diversas  profesiones:  psicologos,  pedagogos,  profesores,  medicos,  trabajado- 
res  sociales,  entre  otros.  Precisamente  en  otros  contextos  (EEUU  sobre  todo),  fue  a 
partir  de  los  anos  1980  cuando  el  modelo  de  Programas  de  Intervencion  cambio  la  Con- 
cepcion de  la  orientacion  pasando  de  ser  una  constelacion  de  servicios  a ser  concebida 
como  un  programa  integrado  en  la  institution  escolar  basado  en  los  principios  teoricos 
de  la  psicologia  del  desarrollo  y de  las  organizaciones.  Esta  situation  nos  permite,  en 
la  actualidad,  concebir  al  orientador  como  un  investigador  de  la  accion  o,  lo  que  es  lo 
mismo,  defender  un  modelo  pragmatico  de  investigacion-accion  donde  se  integran  los 
procesos  de  investigacion  de  la  orientacion. 

Por  todo  ello,  consideramos  que  la  evaluation  de  programas  puede  ser  considera- 
da  como  una  forma  espedfica  de  investigacion-accion.  En  ese  sentido  podriamos  defi- 
nir  la  evaluacion  de  programas  en  orientacion  como  una  investigacion  que  busca 
responder  a cuestiones  relacionadas  con  la  «vida  real»  de  los  practicos  ofreciendo 
informacion  util  para  tomar  decisiones  sobre  el  desarrollo,  mejora  y continuation  de 
un  programa  espedfico  en  un  sistema  u organization  escolar.  De  ese  modo,  ponemos 
el  acento  en  la  obtencion  de  informacion  que  tenga  impacto  sobre  el  sistema  y sus 
componentes  (humanos  y materiales)  y nos  conduce  a la  accion  y al  cambio. 

Hay  autores  que  reconocen  que  esta  vision  de  la  evaluacion  de  programas  como 
una  forma  de  investigacion-accion  entra  en  conflicto  con  otras  concepciones  de  lo  que 
se  entiende  por  evaluacion  de  programas.  Afirman  que  la  evaluacion,  en  ese  sentido, 
no  es  investigacion.  Asi,  por  ejemplo,  Matuszek  (1981)  argumenta  que  la  meta  de  la 
investigacion  es  establecer  la  verdad,  mientras  que  la  meta  de  la  evaluacion  de  progra- 
mas es  mejorar  el  proceso  de  toma  de  decision.  Ademas  sugiere  que  la  investigacion  es 
amplia  y generalizable  mientras  la  evaluacion  es  espedfica  y situacional,  con  resulta- 
dos  unicos  aplicables  a un  programa  particular  en  un  contexto  particular.  Nuestra  con- 
clusion, sin  embargo,  es  que  hoy  en  dia  hay  un  solapamiento  entre  ambos  conceptos 
mucho  mayor  del  que  algunos  autores  quieren  reconocer. 

A pesar  de  los  modelos  de  evaluacion  de  programas  existentes  en  la  literatura,  cons- 
tituye  un  hecho  aceptado  por  todos  los  autores  que  no  existe  una  unica  estrategia  vali- 
da  y definitiva  que  satisfaga  las  necesidades  de  los  orientadores  interesados  en  llevar  a 
cabo  la  evaluacion  de  sus  programas.  Un  programa  educativo,  en  su  sentido  mas 
amplio,  incluye  un  conjunto  organizado  de  recursos  y actividades  disenado  para  facili- 
tar  el  aprendizaje  y el  logro  de  las  metas  de  los  estudiantes  (Maher  y Bennett,  1984).  La 
diversidad  de  tales  programas  necesita  de  la  existencia  de  un  modelo  para  seleccionar  y 
realizar  las  evaluaciones  de  los  mismos  integrando  una  serie  de  estrategias  en  un  enfo- 
que  mas  comprensivo  y flexible.  Desde  el  campo  de  la  orientacion,  existen  modelos 
comprensivos  como  los  de  Atkinson,  Furlong  y Janoff  (1979),  Lombana  (1985)  y Midkiff 
y Burke  (1987)  que  nos  describen  diversas  estrategias  que  los  orientadores  pueden  utili- 
zar  para  seleccionar  los  diversos  tipos  de  evaluacion  que  satisfagan  las  necesidades  del 
sistema  con  sus  metodologias  correspondientes.  No  nos  detenemos  en  estos  modelos 
por  haber  sido  ya  ampliamente  tratados  en  otras  publicaciones  (Sanz  Oro,  1993, 1998). 
Simplemente  puntualizar  que  en  el  caso  del  movimiento  de  la  accountability  («rendi- 
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cion  de  cuentas»),  como  procedimiento  de  evaluacion,  tiene  esta  un  importante  papel 
que  jugar  en  la  actual  reforma  educativa.  La  accountability,  aunque  todavia  sea  un  con- 
cepto  de  difxcil  integracion  en  la  cultura  de  nuestro  pais,  constituye  un  gran  estimulo 
para  fomentar  un  sistema  de  information  sin  el  cual  cualquier  esfuerzo  de  reforma 
estaria  operando  a degas.  Si  dicho  movimiento  desea  jugar  el  papel  que  le  corresponde 
en  el  area  educativa,  tiene  que  producir  un  cambio  en  los  valores  culturales  de  los  edu- 
cadores  de  todos  los  niveles  educativos.  Los  profesores  tienen  que  percibirlo  como 
valioso  en  si  mismo  y utilizarlo  de  forma  constructiva.  Los  administradores  tienen  que 
verlo  como  algo  mas  que  un  mero  requisito  burocratico.  El  compromiso  de  la  comuni- 
dad  tiene  que  ser  valorado,  basado  en  datos  y bien  organizado. 

Por  ultimo,  la  accountability  puede  constituir  un  instrumento  muy  util  para  cual- 
quier reestructuracion  educativa,  si,  como  afirma  Hansen  (1993),  cumple  las  siguientes 
condiciones: 

1.  Los  sistemas  de  accountability  tienen  que  ser  logros  basados  y centrados  en  un 
conjunto  de  indicadores  claramente  definidos. 

2.  Las  metas  o estandares  que  fija  la  administration  tienen  que  ser  realistas  y,  por 
tanto,  alcanzables  por  cada  zona  o centro  educativo  donde  se  aplican. 

3.  La  cultura  de  los  centros  educativos  tiene  que  cambiar  mediante  un  proceso  sis- 
tematico  que  incluye  la  ayuda  tecnica  necesaria  y la  correspondiente  formation 
del  equipo  educativo. 

4.  Los  incentivos  y las  sanciones  tienen  que  estar  equilibradas  de  forma  que  las 
escuelas  no  sean  humilladas  o penalizadas  por  sus  fracasos. 

5.  La  accountability  tiene  que  incorporar  una  base  de  datos  de  investigacion  que 
conecte  las  variables  input,  ouput  y contextuales  de  manera  que  ofrezca  infor- 
macion util  para  decidir  que  procesos  instructivos  funcionan  mejor  con  grupos 
diferentes  de  estudiantes. 

6.  Se  tiene  que  disponer  de  una  serie  de  recursos  que  permita  a los  centros  educa- 
tivos que  no  estan  alcanzando  las  metas  fijadas,  puedan  realizar  estrategias  de 
intervencion  apropiadas  basadas  en  datos  de  investigacion. 

CONVERTIRSE  EN  UN  INVESTIGADOR  DE  LA  ACCION 

Para  los  practicos  puede  ser  muy  ventajoso  incorporar  actividades  de  investigacion 
en  sus  tareas  diarias.  Los  orientadores,  — por  aquello  de  la  accountability  o rendicion 
de  cuentas — necesitaran  introducir  pronto  en  su  actividad  profesional  mecanismos 
que  sirvan  para  documentar  o justificar  que  los  servicios  que  ofrecen  son  eficaces.  Por 
tanto,  es  muy  importante  que  no  solo  sean  consumidores  de  resultados  de  investiga- 
cion sino  que  tambien  la  produzcan.  El  ejemplo  mas  claro  lo  constituye  la  evaluacion 
de  nuestros  programas  de  intervencion. 

Algunos  orientadores  pueden  ver  el  proceso  de  investigacion  como  algo  impersonal 
y muy  remoto  entre  sus  tareas  profesionales  y otros  sugieren  que  los  pasos  para  disenar 
un  proceso  de  investigacion  son  semejantes  a los  pasos  que  se  siguen  en  la  practica  de 
las  profesiones  de  ayuda  (Monette,  Sullivan  y Dejong,  1990;  Sanz  Oro,  1998).  Asi  lo 
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atestiguan  tambien  las  revisiones  efectuadas  por  Alvarez  (1993),  Alvarez  et  al.  (1995), 
Alvarez  y Hernandez  (1998),  Borders  y Drury  (1992),  Colas  (1990),  Gysbers  et  al.  (1992), 
Lazaro  (1983),  de  Miguel  (1985),  Repetto  (1995),  Sanz  Oro  (1999)  y Worzbyt  y O'Rourke 
(1989).  En  un  trabajo  reciente  de  Whinston  (1996),  nos  propone  que  hay  una  serie  de 
analogfas  entre  las  fases  que  corresponden  a una  buena  practica  de  la  orientacion  y las 
de  investigation  de  logros  o resultados  tal  como  queda  reflejado  en  el  Cuadro  1. 


CUADRO  1 

ANALOGlA  ENTRE  LOS  ESTADIOS  DE  LA  PRACTICA  DE  LA  ORIENTAClON  Y EL 

PROCESO  DE  INVESTIGACION 


Estadios  en  un  programa  de  orientacion 

Estadios  en  una  investigacion 

Identificar  las  necesidades 

Identificar  la  cuestion  a investigar 

Formular  las  metas  a alcanzar 

Formular  el  diseno  de  investigacion 

Disenar  las  intervenciones 

Determinar  las  medidas  de  logro  y los  metodos 
para  asegurar  la  integridad  del  tratamiento 

Llevar  a cabo  el  programa 

Recoger  los  datos 

Evaluar  el  progreso 

Analizar  los  datos 

Toma  de  decision 

Interpretacion  y conclusiones 

FUENTE:  Whiston  (1996,  p.  617). 


a)  Identificar  que  es  lo  que  se  va  a investigar 

Esta  fase  es  coincidente  con  los  inicios  de  todo  proceso  de  intervencion  en  orienta- 
cion, a saber,  cuales  son  las  necesidades  de  los  usuarios  objeto  de  nuestra  actividad 
profesional.  Identificar  lo  que  vamos  a investigar  simplemente  implica  examinar  lo 
que  es  pertinente  en  el  trabajo  del  orientador  y su  contexto  para  formarse  un  determi- 
nado  estado  de  opinion.  Dentro  de  los  presupuestos  de  este  modelo  de  investigacion 
accion,  se  tratarfa  de  responder  a una  serie  de  interrogantes  como:  ^Es  eficaz  la  labor 
del  orientador?  ^Que  efectos  produce?  En  nuestro  caso,  la  cuestion  clave  que  pueden 
preguntarse  los  practicos  es:  ^Mejoran  nuestros  usuarios  como  resultado  de  los  mode- 
los  de  intervencion  que  adoptamos  en  el  programa  de  orientacion?’ 


* El  lector  puede  consultar  la  excelente  monografia  editada  por  Walz  y Bleuer  (1993)  donde  se  ofrece,  a 
traves  de  autores  de  reconocido  prestigio,  unas  excelentes  revisiones  sobre  resultados  de  investigacion  en 
una  serie  de  areas  importantes  en  la  profesion.  En  todas  ellas  se  contemplan  dos  objetivos  basicos.  Primero 
buscar  aquellos  elementos,  traducidos  en  resultados  de  investigacion,  que  conducen  a la  afirmacion  de  que 
la  orientacion  y,  por  tanto,  la  tarea  del  orientador,  es  una  tarea  eficaz.  En  segundo  lugar  sostener  que  la  efi- 
cacia  es  una  entidad  dinamica,  nunca  una  entidad  estatica  en  el  sentido  de  que  «el  orientador  la  tiene  o no  la 
tiene».  Para  ello  es  esencial  su  capacidad  de  perfeccionamiento  profesional. 

Igualmente  es  de  destacar  la  revision  efectuada  por  Whiston  y Sexton  (1998)  donde  se  analizan  las 
implicaciones  para  la  practica  profesional  de  75  trabajos  recientes  de  investigacion  (publicados  entre  1988  y 
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b)  Formular  el  diseno  de  investigacion 

Esta  fase  es  analoga  a la  de  formular  las  metas  a alcanzar  en  el  proceso  de  orienta- 
tion. La  selection  del  diseno  de  investigacion  a seguir  y la  utilization  de  sus  corres- 
pondientes  metodologias,  depende  de  los  recursos,  del  contexto  donde  trabaje  el 
orientador  y de  las  cuestiones  que  desee  investigar.  La  finalidad  de  cualquier  estudio 
es  lograr  unas  conclusiones  que  esten  bien  fundamentadas  y estas  no  se  pueden  obte- 
ner  sin  un  diseno  de  investigacion  cuidadosamente  seleccionado.  A este  respecto,  son 
utiles  los  textos  de  Bartolome  (1986),  Buendia,  Colas  y Hernandez  (1998),  Cook  y Rei- 
chardt  (1986),  Garcia  Ramos  (1992),  Gelso  (1979),  Heppner,  Kivlighan  y Wampold 
(1993),  Marshall  y Rossman  (1989)  Patton  (1990),  Perez  Juste  (1992),  Tejedor  (1994)  y 
Weis  (1991)  tanto  para  disenos  cuantitativos  como  cualitativos. 

Una  cuestion  importante  a considerar  en  este  apartado  son  los  aspectos  eticos  cuan- 
do  se  disena  el  estudio  de  investigacion.  Aqui,  las  organizaciones  profesionales  tienen 
mucho  que  decir.  Un  ejemplo,  lo  constituye  el  Code  of  Ethics  and  Standards  of  Practice  de 
la  American  Counseling  Association  (ACA,  1995).  En  concreto,  en  la  Section  G se  anali- 
zan  los  aspectos  relacionados  con  la  investigacion  en  la  orientacion  y el  asesoramiento. 
Uno  de  los  dilemas  eticos  que  plantea  es  el  relacionado  con  la  asignacion  del  tratamien- 
to  al  grupo  de  control  en  una  investigacion  puramente  experimental.  Algunos  estudios 
de  investigacion  action  desarrollan  su  programa  con  este  grupo  despues  de  haberlo  lle- 
vado  a cabo  con  el  grupo  experimental.  Esto  no  siempre  es  una  altemativa  viable  pues 
depende  del  contexto  y de  la  naturaleza  propia  de  la  intervention  a realizar.  Otra  alter- 
nativa  que  se  propone  consiste  en  cambiar  el  tratamiento  a ambos  grupos  y ver  cual  es 
mas  eficaz,  en  que  circunstancias  y con  que  tipo  de  sujetos.  Por  ejemplo,  en  un  progra- 
ma de  toma  de  decisiones  vocacionales  un  grupo  utiliza  el  programa  X y otro  el  progra- 
ma Y esperando  obtener  unos  resultados  que  nos  indiquen  cual  ha  sido  mas  eficaz. 

c)  Establecer  los  metodos  que  nos  aseguren  la  integridad  del  tratamiento  y las 

medidas  de  los  logros 

Esta  fase,  generalmente,  deberia  estar  incluida  en  la  anterior,  es  decir,  en  la  formu- 
lation del  diseno  de  investigacion.  Sin  embargo,  dada  la  complejidad  que  presenta, 
Sexton  et  al.  (1997)  la  otorgan  un  apartado  propio. 

Estos  autores  entienden  que  la  integridad  del  tratamiento  se  refiere  a la  medida  en 
la  cual  un  tratamiento  o una  serie  de  intervenciones  intencionadas  son  realmente  lle- 
vadas  a cabo.  Un  procedimiento  logico  consistiria  simplemente  en  preguntar  a los 
orientadores  que  es  lo  que  han  hecho  a lo  largo  de  todo  el  programa  o bien  que  estos 
registren  todo  el  proceso  mediante  la  tecnica  del  analisis  del  tiempo  (Fairchild,  1986). 
En  cualquier  caso,  los  practicos  necesitan  encontrar  metodos  pragmaticos  para  deter- 
minar  si  sus  intervenciones  estan  produciendo  los  efectos  esperados. 

1995)  y cuyos  resultados  giran  alrededor  de  los  cuatro  componentes  del  modelo  de  Gysbers  y Henderson 
(1994).  Por  ultimo,  merece  una  especial  consideracion  en  nuestro  pais  las  aportaciones  notables  de  los  traba- 
jos  publicados  en  el  n°  monografico  de  la  Revista  de  Investigation  Educativa  (RIE)  dedicado  a la  orientacion  y 
coordinado  por  el  profesor  Rodriguez  Espinar  (1998). 
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Estos  efectos  no  se  pueden  obtener  sin  la  existencia  de  unas  medidas  solidas  que 
nos  permitan  comprobar  el  cambio  producido.  Esto,  sin  embargo,  no  siempre  es  tan 
facil.  De  hecho,  muchos  resultados  varian  dependiendo  si  la  eficacia  es  valorada  por 
los  usuarios,  orientadores  o evaluadores  u observadores  extemos.  Lambert,  Ogles  y 
Masters  (1992)  establecieron  un  esquema  conceptual  para  categorizar  medidas  de 
resultados  que  facilita  a los  practicos  e investigadores  que  puedan  seleccionar  instru- 
mentos  que  generen  datos  desde  una  amplia  variedad  de  dominios  y puntos  de  vista 
(Cuadro  2).  La  primera  dimension  es  el  contenido,  con  las  categorfas  de  rol  intraperso- 
nal (afecto,  conducta  y cognicion),  interpersonal  y social.  La  segunda  dimension  es  la 
fuente  o fuentes  de  informacion  de  resultados  e incluye  autoinforme  del  usuario,  eva- 
luacion del  orientador,  observador  capacitado  y otras  fuentes  relevantes  o institucio- 
nales.  La  tercera  dimension  viene  definida  por  los  metodos  o tecnologias  utilizadas 
para  la  recogida  de  datos  que  pueden  ser  categorizados  en  evaluacion,  descripcion, 
observacion  y status.  La  ultima  categoria  es  la  orientacion  temporal  e implica  si  el  ins- 
trument intenta  medir  una  caracteristica  estable  parecida  a un  rasgo  o una  caracteris- 
tica  inestable  parecida  a un  estado.  El  hecho  de  seleccionar  muchas  medidas  de 
resultado  es  para  obtener  una  informacion  comprensiva.  El  esquema  organizacional 
que  representa  el  Cuadro  2 puede  ayudar  a los  investigadores  en  la  selection  de  diver- 
sos  metodos  para  medir  los  resultados. 


CUADRO  2 

ESQUEMA  DE  CLASIFICAClQN  DE  MEDIDAS  DE  RESULTADO 


Contenido 

Fuente 

Tecnologfa 

Orientacion  temporal 

1.  Intrapersonal 
Afecto 
Conducta 
Cognicion 

1.  Autoinforme 

1.  Evaluacion 

1.  Rasgo 

2.  Interpersonal 

2.  Evaluacion 
del  orientador 

2.  Descripcion 

2.  Estado 

3.  Rol  social 

3.  Observador 
capacitado 

4.  Relevante 

5.  Institucional 

3.  Observacion 

4.  Status 

FUENTE:  Whiston  (1996,  p.  618). 


d)  Recogida  de  datos 

En  esta  fase  la  cooperation  entre  los  orientadores  y los  clientes  o usuarios  es  muy 
importante.  Un  proyecto  puede  mejorar  notablemente  si  cuenta  con  la  participation 
de  los  orientadores  desde  los  inicios  del  proceso  de  investigation.  Si  estos  orientadores 
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colaboran  en  los  estadios  de  planificacibn  sera  mas  problable  que  continuen  despues 
con  la  tarea  laboriosa  de  recogida  de  datos.  Igualmente  los  usuarios/clientes  se  senti- 
ran  mas  implicados  si  comprenden  la  finalidad  que  se  persigue  en  el  proyecto  de 
investigacion.  Por  ejemplo,  Johnson  y Whitfield  (1991)  consideran  que  hay  tres  proce- 
dimientos  de  recogida  de  datos.  A traves  de  registros  escritos,  orales  y mediante  la 
observacion  de  conductas. 

1°)  Registros  escritos.  Que  pueden  ser  tan  simples  como,  por  ejemplo,  enumerar  los 
cinco  pasos  en  la  toma  de  una  decision  vocacional  o identificar  seis  recursos  de 
ayuda  que  pueda  disponer  un  estudiante  con  problemas  personales.  Las  res- 
puestas  pueden  ser  validadas  por  el  profesor  a traves  de  un  examen  o encuesta 
en  la  clase. 

2°)  Registros  orales.  A traves  de  discusiones  en  clase,  pequenos  grupos  o individual- 
mente.  Por  ejemplo,  los  orientadores  o profesores  podrfan  demandar  a los  estu- 
diantes  que  describan  los  pasos  en  la  busqueda  de  un  trabajo,  como  solicitar  una 
beca,  como  acceder  a una  ayuda  para  un  determinado  problema  personal  o de 
aprendizaje.  Las  respuestas  obtenidas  validan  la  adquisicion  del  conocimiento. 

3°)  Observacion  de  conductas.  Estas  observaciones  pueden  ser  obtenidas  mediante  el 
conocimiento,  actitudes  y habilidades  conseguidas  por  el  alumno  a traves  de 
las  actividades  disenadas  en  el  programa  de  orientacion.  Pueden  ser  hechas 
por  los  orientadores,  profesores,  padres,  etc...  Como  ejemplos  podemos  citar  la 
utilizacion  de  recursos  de  caracter  vocacional,  reunirse  con  nuevos  grupos 
sociales,  ser  mas  activo  en  las  discusiones  de  clase,  implicarse  en  actividades 
comunitarias,  etc... 

No  obstante,  hay  una  serie  de  consideraciones  eticas  que  hay  que  tener  en  cuenta. 
Nos  referimos  al  consentimiento  de  los  participantes  y a la  confidencialidad  de  los 
datos.  Asf  lo  recoge,  por  ejemplo,  la  Seccion  G.2  del  Code  of  Ethics  and  Standards  of  Prac- 
tice (ACA,  1995)  donde  se  contempla  que  «...  la  informacibn  obtenida  de  los  partici- 
pantes durante  el  proceso  de  investigacion  es  confidencial»  (p.  38). 

e)  Analisis  de  datos 

Algunos  practicos,  en  esta  fase,  se  asustan  y se  niegan  a participar  en  ella  porque 
ven  la  investigacion  sujeta  a analisis  estadfsticos  excesivamente  complejos.  Hoy  en 
dfa,  la  existencia  de  paquetes  estadfsticos  por  ordenador  hacen  esta  labor  menos  tedio- 
sa.  Ademas,  si  el  diseno  es  cualitativo  se  utilizan  metodos  descriptivos  lo  que  produce 
un  menor  rechazo.  En  cualquier  caso,  la  consulta  a formadores,  investigadores  o esta- 
dfsticos facilita  considerablemente  la  labor. 

f)  Interpretation  y condusiones 

Esta  fase  es,  de  hecho,  la  mas  gratificante  ya  que  se  trata  de  comprobar  si,  en  funcion 
de  los  datos  de  que  disponemos,  nuestro  programa  de  intervencion  ha  producido  los 
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efectos  que  deseabamos  conseguir.  Sin  embargo,  la  interpretation  de  resultados  es  una 
tarea  compleja  que  va  mas  alia  de  encontrar  diferencias  estadisticamente  significativas 
en  los  mismos.  La  interpretacion  estadistica  tradicional  esta  siendo  ultimamente  critica- 
da  porque  no  garantiza  que  los  resultados  tengan  un  significado  practico.  Algunos 
investigadores  estan  proponiendo  nuevos  metodos  para  interpretar  los  datos  que  refle- 
jan  mas  fielmente  esa  signification  practica.  La  interpretacion  de  resultados  de  un  proce- 
so  de  investigacion  action  esta  fundamentada  en  las  caracteristicas  propias  de  dicha 
investigacion  y en  el  significado  que  adquieren  los  resultados  para  los  usuarios  de  un 
determinado  contexto.  Los  resultados  obtenidos  necesitan  ser  cuidadosa  y objetivamen- 
te  examinados  para  que  las  conclusiones  sean  validas.  No  olvidemos  que  nuestra  inten- 
tion final  es  la  de  evaluar  aquello  que  ofrecemos  a nuestros  usuarios  y que,  por  tanto,  los 
resultados  que  obtenemos  constituyen  claros  indicadores  de  la  calidad  de  los  servicios. 

Asi,  por  ejemplo,  Johnson  y Whitfield  (1991)  contemplan  la  existencia  de  tres  niveles 
de  resultados  producto  de  un  programa  de  orientation:  resultados  inmediatos  (compe- 
tencias)  de  un  proceso  espedfico,  resultados  intermedios  o terminates  (metas)  cuando  se 
finaliza  un  ciclo  del  sistema  educativo  y resultados  a largo  plazo  que  se  refiere  a estu- 
dios  de  seguimiento  de  im  alumno  ya  fuera  del  sistema.  A continuation,  presentamos 
un  ejemplo  de  resultados  inmediatos  (Cuadro  3)  donde  se  incluye  los  resultados  a alcan- 
zar  ( competencias  ),  que  es  lo  que  tiene  que  ser  aprendido,  quien  es  el  responsable, 
cuando  se  llevara  a cabo,  el  criterio  establecido  y como  esa  conducta  sera  validada. 


CUADRO  3 

RESULTADOS  INMEDIATOS  / COMPETENCIAS 


Competencia 

Que 

Quien 

Cuando 

Criterio 

Como 

Los  estudiantes 
de  4°  de  E.S.O. 
demostraran 
habilidades  para 
usar  fuentes  de 
informacion 
vocacional. 

Utilizar  un  minimo  de 
cuatro  recursos  para 
encontrar  los  siguientes 
elementos  para  la 
eleccion  de  una  carrera: 
requisitos  educativos, 
fisicos,  existencia  local, 
remuneration, 
posibilidades 
profesionales. 

Orientador 

A1  final  de  una 
unidad  de 
purification 
vocacional  en 
una  clase  de 
lengua  de 
4°  de  E.S.O. 
o en  la  hora 
semanal  de 
tutoria 

• Usar  cuatro  recursos 

■ Identidicar  al  menos 
una  eleccion  vocacional. 

■ Senalar  cuatro  de  los 
cinco  requisitos 
senalados 
anteriormente. 

El  estudiante  elabora 
un  informe  vocacional 
donde  enumera  los 
criteriosy  referencias 
vocacionales.  Es 
validado  como 
correcto  por  el 
orientador. 

Los  estudiantes  de 
4°  de  E.S.O.  de 
mostraran  sus 
habilidades  para 
escuchar  a los 
demas. 

Reflejar  los 
sentimientos  y 
clarificar  la 
satisfaccion. 

Orientador 

Durante  el 
desarrollo  de  la 
unidad  «escuchar» 
(en  video)  en  la 
hora  semana  de 
tutoria. 

■ Reflejar  los  sentimientos 
correctamente  a un 
nivel  3 o superior  en 
la  Escala  de  Carkhuff. 

■ Reflejar  la  satisfaccion 
y facilitar  feed-back 
un  minimo  de  cuatro 
veces. 

El  orientador  valida  la 
competencia  observando 
a los  estudiantes  durante 
las  actividades  y 
viendolos  en  la 
grabacion  del  video. 

FUENTE:  Adaptado  de  Johnson  y Whitfield  (1991,  p.  49). 
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LA  EVALUACION  DE  LA  FORMACION 
OCUPACIONALY  CONTINUA 

J.M.Jornet,  J.M.  Suarez  y Ma  J.  Perales' 


1.  INTRODUCCION 

La  Evaluacion  de  los  Programas  de  Formacion  para  el  Trabajo  ha  concitado  un  gran 
interes  en  los  ultimos  anos,  tanto  desde  una  perspectiva  sociopolitica,  como  desde  la 
gestion  y organization  de  los  mismos.  La  estructuracion  y evaluacion  de  la  Formacion 
Profesional  (Cabrera,  1987),  en  sus  diversas  modalidades,  desde  la  Inicial  — reglada — 
a la  no  reglada,  ha  constituido  un  centro  de  interes  que  progresivamente  se  ha  ido  ins- 
taurando  tambien  en  nuestro  pais.  El  motivo  central  es  que  se  ha  constituido  como 
uno  de  los  ejes  centrales  de  dinamizacion  del  empleo  y de  mejora  de  la  competitividad 
empresarial  a nivel  europeo.  Los  fondos  aportados  para  la  Formacion,  las  expectativas 
creadas  en  cuanto  a su  necesidad  y consecuencias  sociales,  han  definido  en  gran  medi- 
da  las  soluciones  evaluativas  que  se  han  ido  desarrollando.  Por  este  motivo,  hemos 
estimado  conveniente,  antes  de  entrar  en  el  ambito  propiamente  dicho  de  la  Evalua- 
cion, revisar  algunas  caracteristicas  de  este  tipo  de  Programas,  dado  que  su  Evalua- 
cion se  orienta  y/o  condiciona  por  ellos. 

La  estructura  del  presente  articulo  es  la  siguiente:  a)  Algunas  notas  caracteristicas 
acerca  de  la  Formacion  Ocupacional  y Continua,  b)  Una  aproximacion  a una  tipologia 
de  Planes  de  Evaluacion,  y c)  Reflexiones  en  torno  a Estandares  para  la  Acreditacion 
y/o  Certification. 

2.  UNAS  NOTAS  ACERCA  DE  LA  FORMACION  OCUPACIONALY  CONTINUA 

Para  realizar  la  revision  senalada  anteriormente,  tomamos  como  referencia  tres 
aspectos  de  la  Formacion:  a)  Sus  Finalidades,  b)  Modalidades,  y c)  Condiciones  y contexto 
de  desarrollo. 


1 Dpto.  MIDE  de  la  Universitat  de  Valencia.  Fac.  Filosofia  y CC.  De  la  Educacion.  Avda.  Blasco  Ibanez, 
30.  Tel.  963864430.  e-mail:  jomet@uv.es,  rodrigus@uv.es.  perales@uv.es 
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Como  indicamos  en  la  introduction,  la  Formation  para  el  trabajo  cobra  relevancia 
en  los  ultimos  anos,  como  un  elemento  de  polftica  activa  de  dinamizacion  del  Empleo. 
Asf,  en  el  marco  de  las  politicas  socioeconomicas  tanto  europeas  como  nacionales,  el 
rol  que  se  le  asigna  a la  Formation  es  el  de  mejora  de  los  Recursos  Humanos  y el  incre- 
mento  de  la  competitividad  empresarial.  De  este  modo,  la  Formation  se  asume  como 
un  medio  para  aumentar  las  posibilidades  de  empleo  de  las  personas  y facilitar  su 
adaptabilidad  a los  cambios  en  los  procesos  productivos. 

Dentro  del  ambito  de  este  tipo  de  Formation,  la  Oargational  esta  orientada  a mejorar 
la  insertion  sociolaboral  de  las  personas;  y,  si  bien  esta  dirigida  a los  desempleados2  en 
general,  una  parte  de  sus  Programas  se  especifican  hacia  colectivos  con  riesgo  de 
exclusion  del  mercado  laboral  (parados  de  larga  duration,  jovenes  sin  formation  pro- 
fesional  y que  no  han  disfrutado  de  un  primer  empleo  o mujeres  separadas  del  meca- 
do  laboral  durante  un  largo  periodo  de  tiempo,  por  ejemplo).  No  obstante,  los  tipos  de 
Programas  son  muy  diversos  y pueden  darse  desde  Programas  de  Initiation  en  una 
Ocupacion,  integrando  la  formation  en  aprendizajes  basicos,  hasta  otros  de  una  eleva- 
da  especializacion. 

Por  su  parte,  la  Fonimtion  Continue  se  dirige  a personas  con  empleo.  Su  funcion  es 
mejorar  pues  la  capacitacion  personal  y,  con  ello,  favorecer  la  promotion  de  los  traba- 
jadores  o adaptar  los  Recursos  Humanos  a los  cambios  de  los  procesos  de  production 
que  se  dan  — o se  preven — en  un  sector  o en  una  empresa  determinada.  Por  ello,  el 
rango  de  Programas,  aunque  tambien  muy  amplio,  se  suele  circunscribir  a un  nivel  de 
especializacion  mayor. 

En  cuanto  a las  MoMidades  en  que  se  produce  la  Formation,  ciertamente  no  difie- 
ren  de  las  tres  basicas:  Presencial,  Abierta  y a Distancia.  Los  Programas  mas  frecuentes 
son  los  Presenciales  y,  a continuation,  la  formation  que  integra  modulos  de  formation 
convencionales  y atencion  tutorial  en  el  puesto  de  trabajo  y,  finalmente,  los  Programas 
a Distancia.  No  obstante,  esta  distribution  se  produce  fundamentalmente  por  el  nivel 
de  desarrollo  del  sector  de  la  Formation,  mas  que  por  su  adecuacion  a las  caracterfsti- 
cas  de  los  colectivos  a que  se  dirige,  sus  necesidades,  el  objeto  de  la  Formation,  etc... 

Finalmente,  las  Condjtiones  y contexto  de  desanollo  de  la  Formation  se  pueden  sinte- 
tizar  en  los  siguientes  puntos  (Villanueva  y Catala,  1997;  Jornet  et.  al.,  1998): 

• El  estfmulo  fundamental  para  el  desarrollo  de  este  tipo  de  Programas  se  produ- 
ce desde  la  orientation  polftica,  tanto  desde  la  administration  europea  como 
desde  los  usos  concomitantes  que  realizan  las  administraciones  nacionales  y 
regionales.  La  financiacion,  por  tanto,  tambien  es  fundamentalmente  publica, 
por  lo  que  es  muy  importante  la  necesidad  de  controlar  la  adecuacion  de  los 
usos  de  los  Fondos  Publicos,  los  efectos  de  este  tipo  de  Programas,  etc...  Ade- 
mas,  esta  misma  preocupacion,  tambien  se  produce  cuando  es  la  propia  empre- 
sa la  que  impulsa  y financia  la  formation. 


2 Para  favorecer  el  acceso  a un  primer  empleo  o su  reingreso  en  el  mercado  laboral,  bien  a traves  de 
una  mayor  especializacion  en  su  formation,  bien  iniciando  a la  persona  en  otra  Ocupacion,  facilitando  con 
ello  el  cambio  profesional. 
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• El  hecho  de  que  la  financiacion  provenga  de  fondos  publicos,  implica  que  la 
oferta  de  Formacion  se  estructure  en  funcion  de  una  Programacion  periodica, 
generalmente  de  caracter  anual,  y que  se  vea  condicionada  por  ella  en  sus  lineas 
de  actuacion,  tiempos  de  realization,  etc... 

• Por  otra  parte,  se  produce  una  flexibilidad  curricular  extrema,  de  forma  que 
ante  una  misma  denominacion  de  Programa  pueden  desarrollarse  curricula  de 
diversa  longitud,  contenido,  finalidad,  etc...  Asf,  aunque  existen  referentes 
curriculares  desarrollados  por  las  Administraciones,  estos  no  son  vinculantes; 
pudiendo  recibir  financiacion  por  parte  de  la  misma  Administracion  soluciones 
curriculares  muy  diferentes  para  una  misma  denominacion. 

• La  heterogeneidad  aludida  respecto  a los  Programas,  tambien  se  observa  con 
relation  a las  entidades  e instituciones  de  Formacion.  Este  sector  es  atendido, 
tanto  por  la  administracion  publica,  como  por  la  actuacion  de  agentes  sociales 
(asociaciones  empresariales  y sindicales),  o por  entidades  privadas  (academias, 
consultorias,  etc...). 

• Por  otra  parte,  las  entidades  que  realizan  Formacion  son  normalmente  organi- 
zaciones  dedicadas  a la  gestion  y,  en  su  estructura,  en  raras  ocasiones  se  identifi- 
can  especialistas  en  Pedagogfa.  Asimismo,  el  corpus  docente  tampoco  es  estable 
y generalmente,  salvo  en  casos  de  Consultoras  que  actuan  en  ambitos  muy 
especfficos  de  la  Formacion  Continua  (Mejora  Organizacional,  Marketing, 
Direction,  etc...),  esta  compuesto  por  profesionales  que  ocasionalmente  actuan 
como  docentes.  Lo  mas  frecuente  es  que  la  Formacion  Ocupacional  sea  imparti- 
da  por  profesionales  que,  a su  vez,  tambien  estan  temporalmente  en  paro  en  su 
profesion  habitual. 

• Los  colectivos  a que  se  dirigen  ambos  tipos  de  Formacion  son  tambien  muy 
di versos.  No  obstante,  esta  realidad  no  se  suele  traducir  en  una  metodologfa 
didactica  especializada,  diferencial,  para  cada  uno  de  ellos. 

Este  conjunto  de  caracterfsticas  condiciona  ineludiblemente  los  tipos  de  Evaluacion 
que  se  han  ido  desarrollando.  Fundamentalmente,  son  los  intereses  de  los  promotores 
de  la  Formacion  y,  en  segundo  lugar,  de  los  Gestores  los  que  han  ido  orientando  el 
objeto  a evaluar  (que  se  evalua  en  la  Formacion)  y su  finalidad  (para  que),  asf  como  la 
identification  de  indicadores. 

3.  TIPOS  DE  PLANES  DE  EVALUACION 

La  gran  evolution  que,  segun  se  ha  indicado,  ha  experimentado  la  evaluacion  de  la 
Formacion  Ocupacional  y Continua  no  ha  ido  acompanada  de  un  desarrollo  sistemati- 
co  de  la  propia  evaluacion.  El  contexto  de  la  Formacion  Ocupacional  y Continua  es 
muy  peculiar  y tiene  varias  caracterfsticas  que  explican  en  parte  esta  situation: 

• La  formacion  y su  evaluacion  siguen  un  sistema  de  gestion  similar  al  de  otros 
elementos  de  la  empresa,  de  modo  que  la  persona  que  se  encarga  de  ellas  fre- 
cuentemente  carece  de  formacion  pedagogica  y en  evaluacion. 
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• Por  ello,  las  practicas  evaluativas  no  suelen  estar  sistematizadas  ni  responder  a 
un  modelo  de  evaluacion  previo. 

• El  caracter  interno  de  muchas  de  estas  evaluaciones  hace  muy  limitada  su  difu- 
sion,  siendo  escasas  las  ocasiones  en  que  se  publican  los  resultados  y /o  los  pla- 
nes utilizados. 

No  obstante,  a partir  del  analisis  de  una  serie  de  dimensiones  basicas  y de  la  revi- 
sion de  las  propuestas  y experiencias  de  Evaluacion  de  la  Formacion  Ocupacional  y 
Continua  publicadas  en  nuestro  contexto,  se  puede  plantear  una  propuesta  de  Tipologia 
de  Planes  de  Evaluacion  de  este  tipo  de  formacion  (Jornet,  2000;  Perales,  2000),  que  sirva 
para  estructurar  estas  practicas  evaluativas,  y que  queda  totalmente  abierta  a sugeren- 
cias  y revisiones,  conforme  se  vayan  difundiendo  nuevas  propuestas  y experiencias  en 
este  ambito. 

Esta  tipologia  parte  del  analisis  del  concepto  de  calidad  que  tiene  como  referente 
cada  plan  de  evaluacion.  Es  cierto  que  detras  de  cada  plan  de  evaluacion  hay  un  con- 
cepto de  calidad  que  lo  orienta,  pero  este  no  siempre  esta  explfcito  y,  cuando  lo  esta,  no 
siempre  se  corresponde  con  las  practicas  evaluativas  efectivamente  implementadas, 
de  modo  que  se  suele  detectar  una  gran  distancia  entre  la  utilidad  declarada  de  un  plan 
de  evaluacion,  y su  utilidad  real  lo  cual  afecta  negativamente  a la  propia  credibilidad  de 
los  procesos  evaluativos  (Jornet,  2000). 

Por  ello,  el  analisis  se  hace  en  funcion  de  la  operativizacion  del  concepto  de  cali- 
dad, de  como  se  concreta  en  la  practica  evaluativa,  analizado  desde  tres  dimensiones: 

• Globalidad  del  analisis.  Se  refiere  a si  el  concepto  de  calidad  se  operativiza 
mediante  enfoques  holistas  y globalizadores  (macro  analfticos)  o mediante 
planteamientos  analfticos  y detallados  (micro  analftico). 

• Focalizacion  de  la  evaluacion.  Esta  dimension  esta  definida  por  el  objeto  real  de  la 
evaluacion.  En  sus  extremos,  puede  ser: 

— Extrinseco  a la  formacion,  cuando  se  valora  la  calidad  de  la  formacion  a partir 
de  sus  consecuencias  finales  e indirectas  (como  la  insercion,  la  promocion,  la 
satisfaction...). 

— O intrinseco,  cuando  se  valora  la  calidad  de  la  formacion  en  sf  misma  (ade- 
cuacion  de  la  organization,  programacion,  actuation  docente,  calidad  de  los 
materiales  e infraestructuras...). 

• Tipo  de  infonmcion  sobre  la  que  se  sustenta  la  idea  de  calidad.  Esta  tercera 
dimension  hace  referenda  al  tipo  de  indicadores  sobre  los  que  se  basa  la  evalua- 
cion de  la  calidad,  definiendose  en  sus  extremos  por: 

— Informaciones  directas,  que  nacen  directamente  del  analisis  especffico  del  objeto. 
— Informaciones  indirectas,  que  se  refieren  al  objeto,  pero  no  lo  analizan  directa- 
mente. 

Ademas  de  estas  dimensiones,  derivadas  del  concepto  de  calidad  que  subyace  en  el 
plan  de  evaluacion,  la  tipologia  que  se  presenta  analiza  tres  mas,  como  componentes 
fundamentales  del  proceso  de  evaluacion  (Jornet,  Suarez  y Belloch,  1998): 
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® Objeto  de  evaluacion. 

• Finalidad. 

• Control. 


El  esquema  de  dimensiones  sobre  el  que  se  construyen  los  distintos  planes  de  eva- 
luacion de  la  Formacion  Ocupacional  y Continua  puede  sintetizarse  en  la  siguiente 
tabla: 


TABLA 1 

DIMENSIONES  DE  CLASIFICAClON  DE  LOS  PLANES  DE  EVALUACION 


Calidad 

Otros  componentes 

Globalidad 
del  analisis 

Focalizacion  de 
la  evaluacidn 

Tipo  de 
informacidn 

Objeto  de  la 
evaluacidn 

Finalidad 

Control 

Macro 

analitico 

Extrinseca 

Inf. 

Directas 

(ver  Tabla  2) 

Rendition 
de  cuentas 

Extemo 

Micro 

analitico 

Intrinseca 

Inf. 

Indirectas 

Mejora 

Intemo 

De  acuerdo  con  estas  dimensiones,  los  enfoques  de  evaluacion  de  la  Formacion 
Ocupacional  y Continua  se  pueden  agrupar  en  cuatro  grandes  tipos: 

• Planes  de  Evaluacion  de  Programas  de  Formacion  Ocupacional  y Continua 
como  herramienta  de  accion  sociopolftica. 

• Planes  de  Evaluacion  Institutional. 

• Planes  de  Evaluacion  de  Programas. 

— Enfoque  instructive  / educativo. 

— Enfoque  global. 

• Planes  de  Evaluacion  de  Recursos  Humanos  y Materiales. 

Planes  de  Evaluacion  de  Programas  de  Formacion  Ocupacional  y Continua  como 
herramienta  de  accion  sociopolftica 

El  objeto  de  evaluacion  de  estos  planes  son  las  consecuencias  sociales  del  Plan  de 
Formacion  Ocupacional  o Continua.  Valoran  la  consecution  de  los  objetivos  socioeco- 
nomicos  descritos  para  el  plan  de  formacion,  entendiendo  la  formation  comp  un 
medio,  pero  no  un  fin  en  sf  misma.  Los  indicadores  que  se  utilizan  hacen  referencia  al 
impacto  socioeconomico  de  la  formacion,  lo  cual  se  traduce  en  cuestiones  como  la 
insertion,  la  promotion,  la  mejora  del  rendimiento  en  el  puesto  de  trabajo,  el  incre- 
ment© de  la  productividad,  la  mejora  del  clima  de  trabajo,  etc...  Aunque  menos  fre- 
cuente,  tambien  existe  dentro  de  esta  tipologfa  un  conjunto  de  trabajos  que  se  orienta  a 
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la  valoracion  sociopolftica  de  las  acciones  y macroprogramas  financiados  por  las  insti- 
tuciones,  particularmente  los  Estados;  estos  se  centran  fundamentalmente  sobre  com- 
ponentes  economicos  y sociales,  como  por  ejemplo,  las  inversiones  realizadas,  la 
implicacion  y participacion  de  los  agentes  sociales  en  las  decisiones  e implementacion 
de  los  programas,  las  facilidades  de  los  diferentes  implicados  en  cuanto  a su  desarro- 
llo,  etc.  (Keep  y Mayhen,  1999). 

Las  principales  caracterfsticas  de  este  tipo  de  Planes  de  Evaluacion  son: 

• El  concepto  de  cajidad  que  sustenta  estos  planes  suele  traducirse  en  estudios: 

— macro  analfticos  (trabajan  sobre  grandes  muestras,  analizando  dimensiones 
globales). 

— centrados  en  elementos  extrinsecos  a la  propia  formacion. 

• La  JmaHdad  de  estos  estudios,  dependiendo  de  donde  surja  la  iniciativa  y de 
como  sean  disenados  puede  recorrer  desde  la  rendicion  de  cuentas  (enfoque 
sumativo)  hasta  la  orientacion  para  la  mejora  o la  innovacion  (enfoque  formati- 
vo),  pasando  por  todos  los  planteamientos  mixtos.  Sin  embargo,  lo  habitual  es 
que  se  trate  de  estudios  de  rendicion  de  cuentas,  con  un  control  extemo. 

La  mayoria  de  los  estudios  de  evaluacion  realizados  sobre  la  Formacion  Ocupa- 
cional,  tanto  en  el  contexto  europeo  en  general,  como  en  concreto  en  el  caso  espa- 
nol,  tienen  esta  orientacion.  En  el  caso  de  la  Formacion  Continua,  la  dificultad  de 
operativizacion  del  indicador  de  impacto  en  medidas  observables  (mejora  del  ren- 
dimiento  en  el  trabajo,  aumento  de  la  productividad,  mejora  del  clima  de  trabajo, 
mejora  de  la  calidad  del  trabajo...)  ha  provocado  que  frecuentemente  los  estudios 
evaluativos  se  sustenten  en  medidas  indirectas  de  satisfaccion  de  las  personas,  o de 
valoracion  global  de  los  efectos  (a  traves  de  las  opiniones  de  los  supervisores  / res- 
ponsables). 


TABLA2 

CARACTERlSTICAS  CLAVE  DE  LOS  PLANES  DE  EVALUACION  SOCIOPOLlTICA 


Planes  de  Evaluacion  Sociopolftica 

• Objeto  de  evaluacion 

Consecuencias  sociales  del  programa 

• Operativizacion 
concepto  de  calidad 

Focalizacion  extrfnseca. 
Estudios  macro  analiticos. 

• Finalidad 

Habitualmente,  rendicion  de  cuentas 

• Control 

Habitualmente,  extemo 

Es  el  tipo  de  evaluacion  mas  frecuente  en  Formacion  Ocupacional. 
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Los  estudios  publicados  sobre  evaluation  de  este  tipo  de  programas  formativos 
por  la  OCDE  (1991)  y el  CEDEFOP  (1997)  parten  de  la  base  de  planes  de  evaluation 
construidos  sobre  indicadores  como: 

• La  idoneidad 

Se  refiere  a la  relation  entre  los  objetivos  de  la  formation  y las  necesidades 
del  mereado  de  trabajo. 

• «iestd  el  programa  correctamente  planteado? 

• icumple  sus  objetivos  externos  (a  la  formation)? 

• iesta  motivado  por  una  demanda? 

• lestdn  satisfechos  los  alumnos?»  (CEDEFOP,  1997:  40) 

• La  eficacia 

Estudia  la  relation  entre  los  objetivos  y los  resultados. 

• « icumple  el  programa  correctamente  con  lo  que  se  supone  que  ha  de  cumplir,  esto 
es,  produce  mano  de  obra  cualificada  con  la  calidad  y la  cantidad  que  exigen  los 
mercados  de  trabajo? 

• isatisface  sus  objetivos  internos,  sobre  todo  en  terminos  de  cantidad  y calidad  de 
los  resultados? 

• ilos  participantes  terminan  por  encontrar  un  empleo  y mejorar  su  productividad 
y sus  ingresos? 

• lalcanza  el  programa  a los  destinatarios  que  pretende  (jovenes,  parados  de  larga 
duration,  personas  sin  cualificacion  initial. ..)?»  (CEDEFOP,  1997:  40). 

• La  rentabilidad  to  eficiencial 

Estudia  la  relation  entre  la  inversion  y los  resultados: 

• «ihace  el  programa  el  mejor  uso  posible  de  los  recursos  puestos  a su  disposition? 

• iseria  posible  reducir  costes  y/o  conseguir  recursos  adicionales? » (CEDEFOP, 
1997:  40). 

Planes  de  evaluacion  institucional 

Cuando  la  evaluacion  de  la  Formation  Ocupacional  y Continua  se  realiza  mediante 
planes  de  evaluacion  institutional  toma  como  obi e to  de  analisis  una  entjdad . El  enfasis, 
en  este  caso,  se  situa  en  el  analisis  de  la  organization,  sus  componentes  de  gestion,  sus 
infraestructuras,  etc. 

La  fjnalidad  del  proceso  de  evaluacion  determina  en  gran  medida  los  distintos  com- 
ponentes de  la  misma,  pudiendose  identificar  dos  polos  opuestos: 

• «Procesos  como  los  de  homologation,  acreditacion  o certification  de  Centros,  se  situan 
cercanos  a usos  sumativos  o mixtos  de  la  evaluation,  y suelen  realizarlos  evaluadores 
externos»  (Perales,  2000: 140): 

— Se  utilizan  modelos  como  el  EFQM,  o basados  en  la  ISO  9000,  o bien  protoco- 
los  propios  disenados  segun  los  objetivos  del  proceso  de  homologation. 
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— Pueden  responder  a la  demanda  de  la  entidad  financiadora  (administracion 
generalmente),  o a una  poh'tica  de  mercado,  basada  en  ofrecer  una  imagen 
de  calidad  a partir  de  la  certification. 

® «En  el  otro  extremo,  los  procesos  orientados  por  las  propias  entidades  como  actuaciones 
de  gutojreyision  estan  orientados  hacia  la  mejora  e innovation  institutional,  y son  lleva- 
dos  adelante  por  equipos  mixtos  o por  evaluadores  internos»  (Perales,  2000: 140): 

— El  Modelo  EFQM  puede  adecuarse  perfectamente  a las  expectativas  y necesi- 
dades  de  estas  entidades,  aunque  habitualmente  utilizan  disenos  de  evalua- 
tion emergentes,  construidos  desde  la  propia  entidad. 

Entre  estos  casos  extremos  se  situa  toda  la  riqueza  y la  variedad  de  los  distintos 
procesos  evaluativos,  con  los  matices  derivados  de  su  finalidad  espetifica,  y de  como 
haya  sido  operativizada. 


TABLA3 

CARACTERfSTICAS  CLAVE  DE  LOS  PLANES  DE  EVALUACldN  INSTITUCIONAL 


Planes  de  Evaluation  Institutional 

• Objeto  de  evaluation 

La  entidad 

• Operativizacion  concepto 
de  calidad 

Focalizacion  intrfnseca. 
Nivel  medio  de  globalidad. 

• Finalidad 

Polol 

Polo  2 

Homologation 
Acred  / Certification 

Autonevision  para  la 
mejora 

• Control 

Habitualmente,  extemo 

Intemo 

Planes  de  evaluation  de  programas 

El  tercer  tipo  de  Planes  de  Evaluation  se  define  en  funcion  de  los  Programas,  e 
intenta  valorar  si  se  han  conseguido  los  objetivos  pretendidos.  Constituyen  en  sx  mis- 
mas  aproximaciones  complejas  en  las  que  debe  adaptarse  especfficamente  el  Plan  de 
Evaluation  a las  caracteristicas  y finalidades  de  los  programas  (Carballo,  1991).  En 
funcion  de  la  amplitud  de  este  concepto  de  eficacia  se  podrfan  diferentiar  dos  subtipos 
de  enfoques  (Perales,  2000): 

• Enfoque  instructivo  / educativo. 

Cuando  la  eficacia  se  entiende  como  la  consecution  de  los  objetivos  formati- 
vos  (niveles  de  conocimiento,  ejecucion,  competencias,  habilidades  persona- 
les...)  la  evaluation  del  programa  se  circunscribe  a valorar  este  tipo  de  objetivos. 
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Se  trata  de  una  evaluation  de  programas  similar  a la  que  se  puede  dar  en  cual- 
quier  otro  nivel  educativo.  Se  trata  de  evaluaciones  que: 

• Requieren  una  descripcion  bastante  precisa  de  los  distintos  componentes  que 
tienen  que  ver  con  el  programa  evaluado  (diseno,  metodologia,  tipos  de  acti- 
vidades,  materiales  necesarios,  infraestructuras...). 

• Por  tanto,  tienen  un  concepto  de  calidad  opera tivizado  en  disenos  micro  analf- 
tico,  con  focalizacion  intrinseca. 

® Se  disenan,  por  lo  demas,  segun  la  finalidad  y el  objeto  concreto  a que  se  apli- 
quen.  Asf,  pueden  plantearse  con  finalidad  formativa,  sumativa  o mixta,  con 
control  interno  o externo,  y utilizando  medidas  directas  o indirectas. 

• La  amplia  experiencia  en  este  tipo  de  planes  de  evaluacion  en  el  contexto  de 
la  educacion  reglada  contrasta  con  su  escasa  implantacion  en  el  ambito  de  la 
Formacion  Ocupacional  y Continua,  pues  en  este  caso  las  evaluaciones  no  se 
suelen  realizar  desde  una  perspectiva  pedagogica.  Sin  embargo,  es  esta  pers- 
pectiva  pedagogica  la  que  puede  permitir  identificar  claves  para  la  mejora 
de  la  calidad  los  programas  de  formacion,  desde  un  punto  de  vista  educati- 
vo, influyendo  directamente  en  los  objetivos  planteados,  en  los  materiales, 
en  la  metodologia  didactica,  en  los  procesos  de  evaluacion  de  los  alumnos... 
Es  mas,  este  tipo  de  evaluacion  puede  facilitar  el  proceso  de  certification  / 
acreditacion,  al  ofrecer  referentes  en  los  que  basarlo  y establecer  equivalen- 
ces entre  programas. 

• No  obstante,  como  ejemplos  se  pueden  citar  las  experiencias  del  Programa  fran- 
cos de  evaluacion  de  los  Ateliers  de  Pe'dagogie  Personalise  de  Bretana  (DRTEFP, 
1994),  y la  evaluacion  del  Programa  TETRA  (Jomet  y Suarez  — Coords. — , 
1999),  referido  a Formacion  Continua  mediante  teleformacion. 

• Erifoaue  global 

La  consideration  de  la  Formacion  Ocupacional  y Continua  como  polfticas 
activas  de  empleo  se  traduce  en  un  concepto  mas  amplio  de  eficacia,  donde  a 
los  objetivos  formativos  se  anade  la  valoracion  de  la  consecucion  de  otros  obje- 
tivos sociolaborales  implicados  (insercion  laboral,  promocion  en  el  empleo, 
mejora  del  rendimiento  en  el  trabajo...).  En  este  caso,  los  planes  de  evaluacion 
son  mas  amplios  y abarcan  ambos  niveles.  Se  trata,  por  tanto,  de  evaluaciones 
que: 

• Requieren  una  definicion  clara  del  ml  que  juegan  las  distintos  mriables  en  el 
plan  de  evaluacion,  siendo  para  ello  muy  eficaces  modelos  como  el  CIPP,  de 
Stufflebeam. 

• La  operativizacion  del  concepto  de  calidad  en  estos  planes  esta  determinada 
por  ese  enfoque  global,  mixto,  de  modo  que  combinan  la  focalizacion  extrrn- 
seca  e intrinseca  (al  abordar  tanto  elementos  formativos  como  referentes  a 
sus  consecuencias),  y se  situan  en  niveles  de  globalidad  intermedios  (ni  tan 
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micro  analiticos  como  la  evaluacion  puramente  educativa,  ni  las  macro  anali- 
ticos  como  los  estudios  sociopoliticos). 

• Como  en  el  caso  de  la  evaluacion  mas  educativa,  el  diseno  concreto  de  los 
estudios  dependera  de  ja^ndidad  y el  objeto  concreto  a que  se  apliquen. 

• El  acceso  a este  tipo  de  evaluaciones  es  dificil,  pues  las  que  se  realizan,  ade- 
mas  de  ser  poco  frecuentes,  suelen  ser  de  caracter  interno,  a partir  de  la  ini- 
ciativa  del  equipo  pedagogico  de  las  entidades  (aquellas  que  cuentan  con  el), 
y no  se  suelen  difundir.  No  obstante,  se  pueden  citar  los  siguientes  ejemplos: 

— Las  propuestas  de  Tejada  (1992)  y de  Martinez  Pineiro  (1995),  referidas  a 
Formacion  Ocupacional. 

— La  evaluacion  del  Programa  trances  «FNE-Cadres»  (DRTEFP,  1997). 

— La  Evaluacion  de  la  Formacion  Ocupacional  y Continua  realizada  en  la 
Comunidad  Valenciana  (Jomet  y Suarez,  1997;  Perales,  2000),  que  en  una 
de  sus  dimensiones  puede  considerarse  un  plan  de  evaluacion  global  de 
este  tipo. 


TABLA4 

CARACTERfSTICAS  CLAVE  DE  LOS  PLANES  DE  EVALUACION  DE  PROGRAMAS 


Planes  de  Evaluacion  de  Programas 

• Objeto  de  evaluacion 

Programa  formativo 

Programa  global 

• Operativizacion  concepto 
de  calidad 

• Focalizacion 

• Globalidad 

Intrinseca 

Nivel  micro  analitico 

Mixta 

Nivel  intermedio 

• Finalidad 

Rendition  de  cuentas  y/o  mejora 

• Control 

Extemo  y/o  interno 

Suelen  ser  experiencias  poco  difundidas, 
tanto  sus  modelos  como  sus  resultados. 

Planes  de  evaluacion  de  Recursos  Humanos  y/o  Materiales 

En  este  ultimo  tipo  de  planes  de  evaluacion  se  recogen  las  propuestas  que  estan 
dirigidas  a elementos  concretos  implicados  en  las  Acciones  Formativas  (como  puede 
ser  la  evaluacion  del  profesorado,  de  materiales  didacticos,  de  las  practicas...)  pero  que 
carecen  de  la  vision  sistemica  que  define  los  tipos  anteriores. 

No  se  trata,  por  tanto,  de  una  categoria  real  de  clasificacion,  sino  de  un  recurso 
para  recoger  los  numerosos  estudios  evaluativos  de  este  tipo  que  se  producen  en  el 
ambito  de  la  Formacion  Ocupacional  y Continua,  respondiendo  a un  interes  especifico 
que  no  se  encuadra  en  un  estudio  evaluativo  global. 
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La  variedad  de  diseno  de  estos  planes  es  casi  infinita,  pues  dependera  de  los  obje- 
tos  especificos  de  evaluacion  y de  las  finalidades  del  proceso.  Los  mas  habituales,  no 
obstante,  son  quiza  los  referidos  a evaluacion  de  materiales  (sobre  todo  en  los  progra- 
mas  que  se  imparten  a distancia)  y los  de  evaluacion  del  profesorado,  a partir  de  las 
opiniones  de  los  alumnos  (realizados  en  muchas  entidades  de  formacion,  como  proce- 
so intemo  de  control  y mejora). 

Aunque  las  entidades  suelen  realizar  evaluacion  de  profesorado,  como  se  ha  indi- 
cado,  se  trata  de  estudios  internos,  que  no  son  difundidos  o que  tienen  un  ambito  de 
difusion  limitado  o muy  especializado.  Por  tanto,  como  ejemplo  se  puede  citar  la  valo- 
racion  de  materiales  que  se  desarrollan  al  amparo  de  Proyectos  Europeos  (vgr.  Leonar- 
do da  Vinci,  etc...). 

4.  EL  DESARROLLO  DE  ESTANDARES  PARA  LA  EVALUACION,  ACREDITA- 

CIONY  CERTIFICACION 

La  flexibilidad  y versatilidad  de  la  Formacion  para  el  Empleo  ha  puesto  de  mani- 
fiesto  la  necesidad  de  establecer  referentes  que  permitan  analizar  los  contenidos  de  los 
Programas,  las  competencias  adquiridas  por  las  personas,  o la  capacidad  de  las  insti- 
tuciones  para  impartir  este  tipo  de  actividades  de  formacion.  Por  tanto,  se  estan  des- 
arrollando  diversas  lineas  de  trabajo,  en  las  que  se  profundiza  en  uno  de  los  usos  de  la 
evaluacion  actualmente  mas  demandados:  la  Acreditacion  y/o  Certificacion. 

En  este  contexto,  se  orienta  la  evaluacion  hacia  el  marco  del  desarrollo  de  Estanda- 
res,  que  pueden  ser  definidos  desde  dos  acepciones  distintas,  si  bien  concitan  un  gran 
interes  actualmente  para  su  aplicacion  en  cualquier  nivel  educativo  (De  la  Orden, 
2000;  Mateo,  2000,  Perez  Juste,  2000;  Jomet  y Suarez,  2000): 

a)  El  estandar  como  protocolo  de  actuacion  para  el  desarrollo  de  evaluaciones,  y 
que  se  define  generalmente  por  normas  de  procedimiento,  y 

b)  El  estandar  como  sfntesis  de  criterios  de  calidad. 

No  obstante,  estas  acepciones  no  son  unfvocas,  y pueden  presentar  asimismo  dife- 
rentes  matices,  dependiendo  de  la  aplicacion  concreta  en  la  que  se  alude  al  Estandar. 

Se  pueden  identificar  tres  grandes  categorfas  de  estandares,  en  funcion  del  objeto 
evaluacion: 

• Estandares  de  Certificacion  / Acreditacion  de  Instituciones. 

• Estandares  de  Certificacion  / Acreditacion  de  Programas. 

• Estandares  de  Certificacion  / Acreditacion  personal. 

Estandares  de  Certificacion  / Acreditacion  de  Instituciones 

Como  se  indicaba  anteriormente,  la  preocupacion  por  la  calidad  iniciada  en  el 
ambito  empresarial  se  ha  traducido  en  un  interes  por  la  calidad  de  la  propia  institu- 
tion formativa,  y por  demostrarla  en  virtud  de  una  certificacion  que  asf  lo  acredite. 
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Este  proceso  de  certification,  que  en  Europa  tiene  ya  una  larga  tradition,  esta  llegando 
a nuestro  pais  en  los  ultimos  anos.  Los  estandares  que  se  utilizan  se  basan  en  dos  gran- 
des  modelos:  las  Normas  ISO  y el  MEGC.  Ambos,  si  bien  se  han  desarrollado  en  el 
ambito  productivo  y/o  empresarial,  se  han  aplicado  a Instituciones  Educativas.  No 
obstante,  el  Modelo  Europeo  de  Gestion  de  Calidad,  basado  en  el  EFQM,  esta  teniendo 
una  mayor  aceptacion  actual,  porque  se  adapta  mejor  al  analisis  de  las  organizations 
educativas,  al  estar  disenado  directamente  para  analizar  organizations. 

Los  estandares,  en  ambos  casos,  se  centran  en  elementos  de  la  organization,  funda- 
mentalmente  en  los  que  podriamos  senalar  como  indicadores  de  la  Calidad  del  Servicio 
que  aporta  la  institution.  Estos  procesos  evaluativos,  independientemente  del  modelo 
que  utilicen,  promueven  la  calidad  en  las  instituciones,  al  desarrollar  una  cultura  de 
evaluation,  a traves  de  la  autorrevision.  Sin  embargo,  aunque  estas  revisions  se  reali- 
zan  atendiendo  al  ambito  formativo  que  va  a desarrollar  cada  institution,  lo  cierto  es 
que  no  se  incide  especificamente  en  la  evaluation  de  los  programas,  de  modo  que  en 
algunos  casos  la  reflexion  sobre  los  componentes  curriculares  y los  resultados  de  los 
mismos  puede  ser  mejorable. 

Por  otro  lado,  el  concepto  de  estandar  que  subyace  a ambos  casos  se  basa  en  un  pro- 
tocolo  de  actuation,  de  modo  que  no  existen  criterios  explicitos  de  calidad.  La  certifica- 
tion, por  tanto,  supone  que  la  entidad  se  ha  implicado  en  un  proceso  de  autorrevision, 
tendente  a la  mejora  de  su  calidad,  pero  no  supone  un  nivel  minimo  estandarizado. 

Asimismo,  en  nuestro  pais,  se  pueden  identificar  experiencias  asumibles  dentro  del 
marco  de  la  Acreditacion  de  Centros.  Por  ejemplo,  en  la  Comunidad  Valenciana,  la 
Conselleria  de  Trabajo  y Asuntos  Sociales  puso  en  marcha  en  el  ano  1997  un  proceso 
de  Homologation  de  Centros,  como  requisito  para  la  financiacion  de  Programas  de 
Formation  Ocupacional.  El  sistema  se  basa  en  el  analisis  que  realiza  la  CTAS  de  diver- 
sos  componentes  de  los  Centros.  Esta  revision,  se  orienta  sobre  un  protocolo  en  el  que 
se  establecen  los  requisitos  que  deben  cumplirse  para  impartir  Programas  de  determi- 
nadas  Familias  Profesionales.  Asi,  la  homologation  se  realiza  para  un  sector  especifico. 
El  sistema  se  completa  con  la  supervision  que  realizan  los  Tecnicos  de  Enlace  (supervi- 
sores  de  la  administration)  durante  el  desarrollo  de  los  Programas  financiados.  En  este 
caso,  hay  que  senalar  que  aunque  la  homologation  no  se  presenta  como  un  sistema  de 
Estandares  para  la  Acreditacion,  ciertamente  lo  es  y los  componentes  que  se  revisan 
son  muy  especificos:  infraestructuras,  medios  didacticos,  etc...  Sin  embargo,  como  en 
los  casos  senalados  anteriormente,  los  requerimientos  vinculados  a los  disenos  curri- 
culares son  escasos  y son  frecuentemente  olvidados  o desatendidos. 

Actualmente  esta  linea  se  completa  con  la  aplicacion  del  Modelo  Europeo  de  Ges- 
tion de  Calidad.  De  este  modo,  los  centros  propios  del  sistema  publico  estan  partici- 
pando  en  un  sistema  de  autorrevision,  orientado  desde  el  gobierno  autonomico,  para 
mejorar  la  calidad  del  servicio  que  imparten. 

Estandares  para  la  Certification  /Acreditacion  de  Programas 

Se  refieren  a los  criterios  que  permiten  establecer  el  grado  de  calidad  de  un  progra- 
ma  de  formation,  identificando  los  niveles  de  competencia  que  permite  adquirir  a las 
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personas  que  participan  en  el.  Por  tanto,  que  un  programa  este  acreditado  deberfa 
suponer: 

• Que  tiene  un  diseno  curricular  correcto  (bien  adaptado  a la  ocupacion,  con  una 
programacion  optimizada,  con  una  metodologfa  didactica  adecuada...) 

• Que  se  desarrolla  de  un  modo  adecuado 

• Que  permite  adquirir  las  competencias  para  las  que  esta  disenado 

• Que  las  personas  que  lo  siguen  y superan  con  aprovechamiento  demuestran 
haberlas  adquirido. 

Este  planteamiento  requerirfa  el  uso  de  una  evaluation  pormenorizada,  en  la  que 
se  controlaran  variables  de  diferente  rol  (de  contexto,  de  entrada,  de  proceso  y de  pro- 
ducto),  y que  permitiese  la  optimization  del  programa  (Perez  Carbonell,  1999). 

Sin  embargo,  en  el  sector  de  la  Formation  Ocupacional  y Continua  son  muy  esca- 
sos  los  programas  que  han  estado  sujetos  a este  tipo  de  revision.  Mas  especificamente, 
se  suele  analizar  el  proceso  de  implementation  de  un  programa,  y,  en  ocasiones,  las 
caracteristicas  de  su  diseno  curricular,  pero  muy  raramente  se  evalua  la  competencia 
adquirida  por  las  personas.  Desde  este  punto  de  vista,  la  certification  o acreditacion 
de  programas  se  suele  circunscribir  a procesos  de  evaluation  de  Calidad  del  Servicio, 
sin  abordar  la  efectividad  real  del  programa. 

La  heterogeneidad  del  ambito  de  la  Formation  para  el  Empleo  condiciona  en 
buena  medida  que  la  evaluation  de  los  programas  sea  de  este  tipo.  La  evaluation  es 
una  actividad  innovadora,  y esta  iniciandose  ahora,  a traves  de  los  elementos  que,  de 
momento,  son  mas  accesibles.  El  objetivo,  no  obstante,  debe  ser  avanzar  hacia  proce- 
sos evaluativos  que  aborden  los  programas  en  todas  sus  dimensiones,  incluida  la  valo- 
racion  de  las  competencias  que  permiten  adquirir. 

Como  en  el  caso  anterior,  en  el  ambito  de  la  evaluation  de  programas  se  estan  des- 
arrollando  propuestas  que  tienden  a incidir  en  la  idea  de  estandares  como  protocolo  de 
actuation  evaluativa,  mas  que  como  criterios  espedficos  de  calidad  y eficacia  a demos- 
trar  por  un  programa.  En  este  sentido,  los  estandares  de  orientation  al  rendimiento 
para  la  Evaluation  de  Programas  (OCDE-PUMA/PAC,  1999)  tienen  por  objeto: 

• crear  las  condiciones  previas  favorables  para  el  desarrollo  de  la  evaluation, 

• desarrollar  un  marco  efectivo  de  trabajo, 

• incidir  sobre  aspectos  practicos  del  proceso  de  formation  y evaluation,  y 

• crear  una  cultura  de  evaluation  orientada  a la  mejora  de  la  calidad  del  pro- 
grama. 

Estandares  de  Certification  / Acreditacion  personal 

La  movilidad  laboral  se  ha  convertido  en  una  constante  en  la  evolution  profesional 
de  las  personas,  y esta  exigiendo  sistemas  que  permitan  certificar  las  competencias 
adquiridas,  sea  a traves  de  programas  de  formation  y/o  a partir  de  su  experiencia 
profesional. 
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La  certification  de  la  formacion  recibida  suele  basarse  en  documentos  emitidos  por  las 
entidades  formadoras,  sean  regladas  o no  regladas.  En  el  ambito  de  la  Formacion  Ocu- 
pacional  y Continua  en  ocasiones  su  credibilidad  esta  cuestionada,  pues  los  certifica- 
dos  no  acreditan  la  competencia,  sino  unicamente  la-  participation  en  los  cursos.  Esto 
es  asi  dado  que  generalmente  las  condiciones  en  que  se  desarrollan  estos  cursos  hacen 
que  se  den  las  maximas  facilidades  a los  alumnos  para  que  participen  en  ellos3.  Asi, 
aunque  se  incluyen  evaluaciones  de  los  alumnos,  generalmente  no  se  utilizan  como 
elemento  para  diferenciar  entre  aquellos  alumnos  que  han  seguido  con  aprovecha- 
miento  el  curso,  y aquellos  que  no  lo  han  hecho. 

Un  problema  mas  arduo  lo  constituye  la  certification  de  la  experiencia  profesional.  El 
objetivo  seria  poder  certificar  un  determinado  grado  de  competencia  en  funcion  del 
trabajo  que  haya  realizado  cada  persona.  Sin  embargo,  los  curricula  no  son  elementos 
suficientemente  explicitos  y fiables  para  este  cometido,  pues  frecuentemente  bajo  una 
misma  denomination  de  puesto  de  trabajo,  las  funciones  que  ha  desarrollado  la  perso- 
na son  muy  diferentes  de  una  empresa  a otra;  ademas,  tambien  es  frecuente  la  practica 
en  la  que  el  trabajador  se  integra  oficialmente  en  una  categoria  — por  conveniencia  de 
la  empresa — , mientras  que  realiza  otras  funciones. 

Estas  disfunciones  son  excesivamente  frecuentes  y perjudican  tanto  a los  trabajado- 
res  como  a las  empresas  en  los  procesos  de  selection  de  personal.  En  esta  linea  se  estan 
desarrollando  diversas  propuestas  orientadas  a la  certification  de  los  componentes  de 
formacion:  la  experiencia  a lo  largo  de  la  vida,  los  Programas,  etc...  Un  ejemplo  que  ha 
concitado  gran  interes  es  el  caso  de  los  NVQs  (National  Vocational  Qualification)  bri- 
tanicos,  que  tienen  como  objetivo  (Training  Agency,  1988): 

• Incrementar  la  responsabilidad  de  los  empleados, 

• Aportar  y promover  formacion  para  los  jovenes,  y 

• Ayudar  a los  desempleados. 

Los  Estandares  que  se  proponen  desde  los  NVQs  pretenden  establecer  criterios 
para  describir  de  forma  fiable  la  competencia  de  los  trabajadores.  A la  base  se  situa  la 
posibilidad  de  poder  establecer  comparaciones  respecto  a la  competencia,  basados  en 
la  integration  de  diversos  componentes  formativos,  que  se  establecen  como  equiva- 
lentes.  Por  lo  tanto,  estos  estandares  deben  ser: 

• relevantes  para  el  trabajo, 

• validados  a nivel  national,  y 

• establecidos  por  agentes  sociales. 

Sin  embargo,  aunque  son  multiples  los  esfuerzos  que  se  estan  desarrollando  a nivel 
europeo  (a  traves  de  los  gobiemos,  las  convocatorias  de  investigation,  desarrollo  y for- 

3 En  la  mayor  parte  de  Programas  financiados  con  fondos  publicos  (Europeos,  Estatales  y Autonomi- 
cos)  se  identifica  como  requisito  el  numero  minimo  de  alumnos  que  debe  seguir  el  Programa.  En  muchas 
ocasiones  las  entidades  formativas  dependen  en  exceso  de  que  los  alumnos  se  mantengan  en  el  Programa  y 
lo  concluyan,  pues  de  ello  depende  que  se  de  finalmente  la  financiacion  completa  o se  minore. 
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macion,  etc...),  el  camino  aqui  se  vislumbra  extenso  y plagado  de  dificultades.  Las 
orientaciones  que  se  estan  apoyando  pasan  necesariamente  por  un  planteamiento 
metodologico  que  facilite  la  description  de  las  caracteristicas  de  la  formation  y de  las 
competencias  adquiridas. 

A modo  de  Conclusion 

La  dinamica  de  la  evaluation,  por  tanto,  se  esta  desarrollando  ampliamente  en  el 
ambito  de  la  Formation  Ocupacional  y Continua.  No  obstante,  es  conveniente  revisar 
los  procesos  de  evaluation  y promover  su  mejora  en  cuanto  a su  credibilidad  y utilidad. 

Algunos  de  los  puntos  sobre  los  que  se  podria  sustentar  esta  pretension  son: 

• Integrar  la  mejora  de  los  procesos  evaluativos  en  una  renovacion  global  de  la  Formacion 
Ocupacional  y Continua.  Como  en  cualquier  otro  ambito,  hay  que  tener  presente 
que  la  evaluation  se  puede  constituir  en  un  instrumento  para  la  innovation.  Sin 
embargo,  como  se  ha  demostrado  en  el  sistema  educativo,  hay  que  evitar  gene- 
rar  excesivas  expectativas  respecto  a la  evaluation,  pues  una  verdadera  mejora 
de  los  procesos  formativos  requiere  de  un  verdadero  compromiso,  tanto  desde 
la  propia  institution  implicada  como  desde  el  contexto  sociopolitico  en  que  se 
inserta. 

• «Pedagogizar»  la  Formacion  y la  Evaluacidn.  Tanto  a nivel  europeo  como  a nivel 
nacional,  se  esta  asumiendo  ya  como  un  criterio  de  calidad  de  la  formacion  la 
atencion  explicita  a diversos  componentes  pedagogicos  de  los  mismos,  mas  alia 
de  meras  cuestiones  organizativas  y de  gestion. 

• Asumir  la  necesidad  de  determinar  Estandares  de  Ejecucion  en  los  Programas.  Estos 
estandares  tendrian  un  efecto  multiplicador  en  cuanto  a su  utilidad,  dado  que, 
ademas  de  su  aplicacion  para  la  evaluation  de  programas,  permitirian  estable- 
cer  criterios  claros  de  competencia  para  las  certificaciones  de  las  personas  e ins- 
tituciones. 

• Desarrollar  Protocolos  de  Actuacion  bien  determinados  para  el  desarrollo  de  las  Evalua- 
ciones  (Normas).  Estos  protocolos  deben  atender  a todo  el  proceso  de  evaluacion, 
desde  su  contra tacion/  encargo  — en  los  que  deben  establecerse  todos  los  com- 
ponentes implicados  en  la  evaluacidn,  desde  sus  formas  de  realizacion  al  uso  de 
la  information — , pasando  por  su  planificacidn  y desarrollo,  hasta  la  difusion  y 
uso  de  la  information  resultante. 

• Organizar  la  actuacion  evaluadora  sobre  modelos  de  profesionalizacion.  Todo  el  proce- 
so debe  estar  presidido  por  la  idea  de  profesionalizacion  de  la  evaluacidn,  y 
sujeto  a normas  eticas  que  debemos  ir  consensuando  entre  todos  (Gonzalez, 
Perez  y Perales,  2000). 

El  ambito  de  la  Formacion  Ocupacional  y Continua  necesita  y requiere  no  solo  de 
las  aportaciones  de  la  evaluation,  sino  tambien  de  toda  una  lfnea  de  trabajo  vinculada 
a la  pedagogfa  que  va  a contribuir  efectivamente  a la  mejora  de  su  calidad. 
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EVALUACION  DE  PROGRAMAS  PARA 
LA  EDUCACION  DE  SOBREDOTADOS 
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I.  INTRODUCTION 

La  evaluacion  de  un  programa  educativo  para  ninos  sobredotados  no  es  una  tarea 
facil  y menos  sin  contextualizarla  en  una  situacion  concreta.  Por  ello  a lo  largo  de  este 
trabajo  analizaremos  las  partes  de  un  programa,  las  dificultades  que  presenta  y,  termi- 
naremos  con  una  propuesta  de  evaluacion  siendo  conscientes  de  que  va  a estar  condi- 
cionada  por  multiples  factores:  disponibilidades  del  centro,  formacion  y dedicacion  de 
los  profesores,  caracteristicas  de  los  alumnos,  medios,  recursos,  etc. 

La  evaluacion  de  un  programa  para  algunos  autores  consiste  en  valorar  el  grado  en 
que  el  programa  esta  funcionando  como  se  planifico,  de  tal  manera  que  pueda  mejorar- 
se  y asegurar  su  rendimiento  de  cuentas  «acountability»,  Borland,  (1989,  p.  211).  Tam- 
bien  puede  entenderse  como  un  proceso  de  analisis  y control  disenado  para 
determinar  la  relevancia,  efectividad,  significacion  e impacto  de  actividades  especifi- 
cas  — en  este  caso  para  ninos  sobredotados — y el  grado  de  eficacia  con  que  se  desarro- 
llan,  Doval  y Cajide  (1995,  p.  207).  Perez  Juste  (2000,  p.  554)  afirma  que  la  evaluacion 
de  programas  es  un  proceso  sistematico,  disenado  intencional  y tecnicamente,  de  reco- 
gida  de  informacion  rigurosa  — valiosa,  valida  y fiable — orientada  a valorar  la  calidad 
y los  logros  de  un  programa  como  base  para  la  posterior  toma  de  decisiones  de  mejo- 
ra,  tanto  del  programa  como  del  personal  implicado  y,  de  modo  indirecto,  del  cuerpo 
social  en  que  se  encuentra  irtmerso. 

Asimismo,  Perez  Juste  dice  que  en  educacion  un  programa  encama  un  «plan  de 
accion»  al  servicio  de  los  objetivos  valiosos  en  terminos  educativos.  Por  ello,  nosotros 
creemos  que  dado  que  la  legislacion  en  Espana  acerca  de  la  sobredotacion  apunta  mas 
a la  ayuda  y mejora  del  alumno  que  al  rendimiento  de  cuentas,  — tal  como  veremos 
posteriormente  al  referimos  a la  evaluacion — debemos  centramos  mas  en  la  totalidad 
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del  programa,  particularmente,  en  aquellas  partes  que  pueden  ayudar  a atender  mas 
adecuadamente  las  caracteristicas  propias  del  alumno  sobredotado  y,  determinados 
aspectos  del  mismo  considerados  relevantes  para  la  evaluacion. 

2.  QUE  SE  ENTIENDE  POR  SOBREDOTADOS 

Si  recurrimos  a la  legislacion,  en  la  Orden  de  28  de  octubre  de  1996,  DOG,  de  28  de 
noviembre  de  1996,  se  puede  leer  que  «sobredotados»  son  los  que  demuestran  poseer 
una  inteligencia  muy  superior  a la  media  y un  alto  nivel  de  creatividad.  A nuestro 
entender  esta  definicion  encierra  bastante  indeterminacion,  al  no  fijar  un  nivel  intelec- 
tual  a partir  del  cual  un  alumno  es  sobredotado;  y ademas,  el  concepto  de  creatividad 
es  lo  suficientemente  flexible  para  ser  susceptible  de  muchos  significados  distintos.  El 
incluir  en  la  definicion  una  habilidad  intelectual  general  superior,  las  habilidades  inte- 
lectuales  especificas,  el  pensamiento  creativo  y los  talentos  creativos  especfficos 
son  bastante  habituales  en  la  investigation  al  respecto,  y asf  lo  recoge  Milgran  (1999, 
p.  11-12),  pero  no  vamos  a entrar  ahora  en  esta  controversia.  El  hecho  es  que  el  progra- 
ma supone  una  identification  previa  adecuada  y consensuada  de  estos  sujetos  para 
poder  ponerlo  en  marcha  y tambien  para  evaluarlo. 

3.  LA  LEGISLACION  QUE  REGULA  UN  PROGRAMA  DE  SOBREDOTADOS 

La  respuesta  educativa  dada  para  los  sobredotados  por  nuestra  legislacion:  a)  acon- 
seja  una  anticipation  o inicio  de  la  escolaridad  obligatoria  o una  reduction  del  perfodo 
de  escolarizacion  cuando,  realizada  la  evaluacion  psicopedagogica,  se  compruebe  que 
el  alumno  tiene  alcanzados  los  objetivos  de  etapa,  ciclo  o curso  y,  se  prevea  que  esta 
medida  es  la  mas  adecuada  para  su  desenvolvimiento  personal  y social,  b)  aconseja 
una  adaptacion  curricular  de  ampliacion  dentro  del  curso  que  le  corresponda  por 
edad  cuando  realizada  la  evaluacion  psicopedagogica,  se  compruebe  que  el  alumno 
obtiene  un  rendimiento  excepcional  en  un  numero  limitado  de  areas  o cuando,  aun 
obteniendo  un  rendimiento  global  alto  y continuado  se  detectaran  desequilibrios  en  el 
ambito  afectivo  y de  insertion  social. 

El  procedimiento  de  como  hacerlo  operativo  — siguiendo  la  legislacion — consiste 
en  reducir  un  ano  la  escolarizacion  en  educacion  primaria  (esta  no  puede  tener  lugar  si 
ya  se  anticipo  el  ingreso  en  la  escolarizacion  obligatoria),  y tambien  podra  reducirse 
un  ano  la  escolarizacion  en  la  educacion  secundaria  obligatoria.  La  adaptacion  curri- 
cular de  ampliacion  introduce  modificaciones  significativas  en  los  elementos  prescrip- 
tivos  del  curriculum  comun  — objetivos,  contenidos,  y criterios  de  evaluacion — y 
pueden  afectar  a una,  a varias,  o a todas  las  areas. 

Ahora  bien,  un  programa  acorde  con  la  anterior  legislacion,  conlleva  una  construc- 
tion conceptual,  una  organization  que  comprende  el  diseho  racional  de  un  conjunto 
de  operaciones  y actividades  para  conseguir  resultados  con  el  sujeto  / os  a que  se  apli- 
ca.  Asi  debemos  contar,  al  menos  implicitamente,  con  un  modelo  de  programa  en  sen- 
tido  conceptual,  para  que  exista  virtualmente  un  programa  para  evaluar  y determinar 
que  efectos  se  pueden  esperar  y en  que  circunstancias  se  pueden  generalizar. 
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Entre  las  ventajas  de  disenar  programas  apoyados  en  una  teorfa  estan:  ayudar  a com- 
prender  conceptual  y metodologicamente  su  ambito  de  funcionamiento;  servir  para 
defirur  y esclarecer  la  forma  de  identificar  los  efectos  no  establecidos  en  las  metas  del 
mismo;  ayudar  a establecer  el  perfU  y la  competencia  de  las  personas  que  deben  partici- 
par  y,  anticipar  posibles  comparaciones,  contrastes  y relaciones  que  deben  analizarse. 

4.  PARTES  DE  UN  PROGRAMA 

Es  evidente  que  para  poder  referirnos  a la  evaluacion  de  un  programa  hemos  de 
considerar  algunos  apartados  de  este  tales  como:  1.  Filosofia  o teorfa  en  que  se  basa,  2. 
Procedimientos  y criterios  de  identificacion,  3.  Metas  y objetivos,  4.  Currfculo,  5. 
Recursos  que  soportan  cada  una  de  sus  partes,  6.  Presupuesto,  7.  Direction,  8.  Estrate- 
gias  instructivas,  9.  Evaluacion  del  programa. 

4. 1 . Metas  y objetivos 

Aparte  de  la  «teorfa»  que  debe  fundamentar  un  programa  para  superdotados  que 
en  nuestro  caso  viene  marcada  en  parte  por  la  legislacion,  debemos  resaltar  que  con- 
viene  que  este  escrito,  consensuado,  sea  viable  en  sus  metas  y que  refleje  los  resultados 
deseados  en  respuesta  a las  necesidades  del  estudiante.  El  programa  debe  tener  multi- 
ples metas  y objetivos  flexibles  en  el  tiempo,  mas  que  fijos.  Para  la  seleccion  de  objeti- 
vos y contenidos  de  adaptation  curricular  individualizada  se  deberan  priorizar  los  de 
mayor  caracter  funcional  e instrumental,  los  mas  adaptados  a los  intereses,  capacida- 
des  y necesidades  del  alumno,  los  objetivos  generales  basicos  de  etapa,  ciclo  o curso, 
introduciendo  otros  que  amplien  la  competencia  curricular.  En  todo  caso,  las  adapta- 
ciones  curriculares  que  se  realicen  promoveran  el  desarrollo  pleno  y equilibrado  de  las 
capacidades  establecidas  en  los  objetivos  generales  de  la  educacion  obligatoria,  (vean- 
se  los  objetivos  generales  en  la  LOGSE,  Art.  19),  la  seleccion  de  objetivos  de  evaluacion 
es  un  esfuerzo  colaborativo  entre  el  equipo  de  evaluacion  y los  que  toman  decisiones, 
las  prioridades  estan  determinadas  en  relacion  a los  propositos  de  la  evaluacion,  el 
tiempo  y el  presupuesto. 

4.2.  Curn'culo  en  sentido  estricto 

Es  la  parte  central  de  un  programa,  y viene  dado  por  los  contenidos  curriculares 
que  se  pueden  ampliar,  enriquecer  o impartir  de  forma  acelerada  elaborando  un  curri- 
culum diferenciado.  La  diferenciacion  en  los  procesos  debe  hacer  hincapie  en  la  flexi- 
bilidad  de  pensamiento,  el  descubrimiento,  la  creatividad,  la  indagacion,  formulacion 
de  preguntas,  prueba  de  hipotesis,  y la  creation  de  un  ambiente  que  facilite,  la  solu- 
tion de  problemas,  la  divergencia  y la  flexibilidad  en  el  que  se  acepten  las  diferencias 
individuales,  el  trabajo  personal  y cooperative.  Asimismo,  se  insistira  en  el  desarrollo 
de  un  autoconcepto  positivo,  la  independence  de  juicio,  los  valores  sociales,  la  toma 
de  decisiones,  la  cooperation  mediante  el  trabajo  en  equipo...  en  definitiva,  se  deben 
cuidar  los  ambitos  intelectual  y afectivo. 
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Ahora  bien  han  de  tomarse  algunas  decisiones:  a)  la  eleccion  del  contenido,  ya  sea 
adaptandolo  de  los  libros  de  texto  o bien  elaborandolo  completamente  de  acuerdo  con 
las  pretensiones  del  programa,  b)  la  confection  de  documentos-guia  que  habitualmen- 
te  se  necesitan  para  los  profesores  y la  elaboration  de  materiales  para  los  alumnos  y,  c) 
la  conveniencia  de  que  los  contenidos  no  interrumpan  la  marcha  normal  de  la  clase 
ordinaria.  Por  otra  parte,  han  de  evitarse  los  fallos  de  disenar  un  curriculo  cenido 
exclusivamente  al  aspecto  instructive  y de  aprendizaje  olvidandose  de  los  sentimien- 
tos,  la  motivation,  el  concepto  de  si-mismo,  etc. 

4.3.  El  personal 

La  aplicacion  de  un  programa  requiere  la  identificacion  previa  del  alumno/  s,  pro- 
fesor/es,  ordinario/os  y otros  expertos  que  vayan  a participar  en  el.  Es  necesario  que 
todos  los  participates  tengan  una  idea  global  del  programa.  La  formacion  del  perso- 
nal que  va  a impartir  cualquier  programa  para  sobredotados,  en  el  aula  o fuera  de  ella, 
es  condition  sine  qua  non  para  su  implantation.  El  profesor  debe  tener  autoconfianza, 
flexibilidad,  capacidad  para  apreciar  la  valia  del  sobredotado,  cuestionar,  estimular, 
orientar,  desarrollar  un  curriculo  de  calidad,  y saber  disenar  el  aprendizaje.  Los  padres 
han  de  saber  respetar  las  capacidades  del  nino,  tener  buena  comunicacion  con  el,  pro- 
porcionarle  libertad  e independence  para  actuar  y,  los  companeros  han  de  aprender  a 
respetar  las  diferencias  individuales. 

Tambien  conviene  resaltar  que  todo  programa  educativo  necesita  ser  «tutorizado», 
asesorado,  durante  todo  su  proceso.  La  tarea  de  ayuda,  de  apoyo  al  mismo,  permite 
durante  su  desarrollo  introducir  cambios,  distinguir  entre  factores  internos  y externos 
que  pueden  impedir  la  implantation.  A veces,  la  cantidad  y la  calidad  de  las  entradas 
no  son  las  causas  de  que  un  programa  fracase  sino  los  factores  politicos,  sociales,  cul- 
turales,  economicos,  el  cansancio  y otras  dificultades.  Pero  para  asegurar  la  implanta- 
tion es  preciso  proporcionar  un  feedback  empirico  al  personal  del  programa,  dado  que 
este  esta  constantemente  afectado  por  el  ambiente  en  que  funciona;  por  ello,  se  necesi- 
ta un  «tutor»  una  persona  que  crea  realmente  en  el  e irradie  ese  interes  en  los  demas 
implicados. 

4.4.  El  presupuesto 

No  basta  con  la  disposition  favorable  del  profesorado  hacia  el  programa,  la  puesta 
en  marcha  genera  gastos  y,  aparte  de  la  inversion  en  la  formacion  especifica  del  perso- 
nal del  programa,  se  necesita  la  disponibilidad  de  un  determinado  material  comple- 
mentary del  que  debe  hacerse  prevision  en  el  centro  y que  es  preciso  tener  en 
consideration  si  queremos  que  el  programa  funcione. 

4.5.  La  evaluation 

La  legislation  a este  respecto  afirma  que  la  evaluation  de  un  programa  que  siga 
una  adaptation  curricular  se  hara  en  funcion  de  los  criterios  de  evaluation  individua- 
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lizados  establecidos  en  ella,  sin  perjuicio  de  que  para  los  efectos  de  promotion  el  refe- 
rente  sean  siempre  los  objetivos  establecidos  para  la  etapa  correspondiente,  Orden  8 
de  octubre  de  1995  (DOG  de  7 de  noviembre). 

La  evaluacion  de  los  aprendizajes  de  este  alumnado,  en  aquellas  areas  o materias 
que  hubieran  sido  objeto  de  adaptaciones  curriculares  significativas  se  efectuara 
tomando  como  referenda  los  objetivos  y criterios  de  evaluacion  fijados  para  ellos  en 
las  adaptaciones  correspondientes,  conforme  establece  en  el  apartado  segundo,  la 
Orden  de  14  de  febrero  de  1996  sobre  la  evaluacion  de  los  alumnos  con  necesidades 
educativas  especiales  que  cursan  las  ensenanzas  de  regimen  general  establecidas  en  la 
Ley  Organica  1 / 1990,  de  3 de  octubre,  de  Ordenacion  General  del  Sistema  Educativo. 
Resolution  de  29  de  abril  de  1996  (BOE  de  16  de  Mayo  de  1996). 

Por  tanto,  los  criterios  de  evaluacion  individualizados  establecidos  en  la  adapta- 
tion curricular  y los  objetivos  de  la  etapa  deben  servir  de  pauta  en  la  evaluacion  del 
programa. 

4.5. 1.  La  dificultad  de  la  evaluacion  de  un  programa  para  sobredotados 

Para  facilitar  la  evaluacion  ha  de  existir  acuerdo  respecto:  a)  el  concepto  de  sobre- 
dotado  por  tener  diferentes  significados  e interpretaciones,  b)  precision  respecto  a el 
tipo  de  resultados  del  programa  que  deberfan  alcanzarse,  c)  tomar  decisiones  respecto 
a los  instrumentos  estandarizados  o que  es  preciso  construir  para  evaluar,  y d)  el  esta- 
blecer  elementos  de  comparacion.  Si  estos  factores  no  reciben  la  adecuada  atencion  es 
dificil  determinar  cuando  podemos  considerar  que  un  programa  tuvo  exito. 

Cuando  nos  enfrentamos  a un  programa  individualizado,  donde  las  metas  varian 
de  individuo  a individuo  y,  las  estrategias  son  adaptadas  al  alumno,  su  evaluacion  es 
todavfa  mas  dificil  y para,  facilitarla  debe  existir  consenso  acerca  de  lo  que  es  un  nino 
sobredotado  de  lo  que  debe  hacerse  con  el,  y de  cuales  son  los  resultados  esperados. 

4.5.2.  Factores  que  condicionan  la  evaluacion 

Primero,  los  destinatarios  de  evaluacion,  especialmente  los  que  toman  decisiones 
y aquellos  a quien  sirve  el  programa  si  esperamos  que  la  evaluacion  tenga  algun 
impacto. 

Segundo,  la  valoracion  continua  de  la  consecution  de  los  objetivos  curriculares 
amplios  que  habitualmente  pretenden  incrementar  la  creatividad,  abordar  la  solution 
de  problemas,  desarrollar  el  pensamiento  critico,  la  independencia,  la  flexibilidad...; 
asi  como  de  los  especificos  que  reflejan  el  contenido  del  curriculo,  es  decir,  estan  mas 
ajustados  a los  objetivos  de  etapa,  curso,  etc.  Una  evaluacion  de  sobredotados  debe 
incluir  ambos. 

Tercero,  los  encargados  de  poner  en  marcha  un  pograma  necesitan  cierto  ingenio 
para  desarrollar  objetivos  amplios  para  el  estudiante  dado  que  los  habituales  de  la 
clase  regular  no  deben  presentar  problema  para  ellos.  La  ayuda  de  «personas  interesa- 
das»  en  el  programa:  padres  de  los  bien  dotados,  estudiantes,  profesores  y directivos 
pueden  contribuir  a clarificarlos  e identificarlos  cuando  se  pretende  tener  referencias 
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generales  acerca  de  la  efectividad  del  programa.  Pero  cuando  los  propositos  son  mas 
concretos,  si  los  objetivos  del  programa  estan  definidos  y los  que  toman  decisiones 
quieren  conocer  si  se  han  conseguido,  la  evaluacion  debera  dar  cuenta  de  ellos. 

Cuarto,  el  equipo  de  evaluacion  debera  elegir  los  criterios  que  son  medidas  razona- 
bles  y practicas  de  los  elementos  de  evaluacion.  Si  los  criterios  son  orientados  a resul- 
tados,  la  evaluacion  debera  ser  mas  empirica,  usando  un  enfoque  de  evaluacion  que 
requiere  reunion  de  datos  y analisis,  mas  de  tipo  experimental,  o cuasi-experimental. 
Si  los  criterios  son  mas  orientados  a procesos  el  investigador  usara  un  enfoque  mas 
cualitativo,  por  ej.,  evaluar  los  proyectos  realizados,  documentos  escritos,  observacio- 
nes  de  clase...,  que  existen  acerca  del  programa,  analizarlos  y compararlos  contra  cier- 
tos  estandares  predeterminados.  Las  tecnicas  cualitativas  deben  incorporarse 
aceptando  que  los  evaluadores  estan  obligados  a demostrar  que  «las  valoraciones  del 
desarrollo»  se  realizan  con  criterios  validos  tales  como  evidencia  y concordancia  con 
otras  evaluaciones,  deben  emplearse  diferentes  enfoques  pero  bajo  criterios  de  vali- 
dez,  fiabilidad  y comparacion  (Callahan,  1993,  pp.  614  y 615). 

Quinto,  tambien  las  medidas  de  habilidades  de  pensamiento  crftico,  creatividad..., 
son  asimismo  una  parte  de  la  evaluacion  de  un  programa  tal  como  se  deriva  de  la  pro- 
pia  definition  de  superdotado  y de  la  legislation.  Mas  diffcil  es  conseguir  medidas 
validas  y fiables  que  evaluen  el  curriculo  en  su  totalidad,  pero  aun  siendo  una  tarea 
laboriosa  la  construction  de  instrumentos  es  una  tarea  necesaria  para  la  evaluacion. 

4.5.3.  Algunas  consideraciones  respecto  a la  evaluacion  de  programas 

La  reunion  de  datos  y su  evaluacion  depende  de  que  las  distintas  partes  de  un  pro- 
grama esten  claramente  definidas.  Considerar  si  el  proposito  de  la  evaluation  es  for- 
mativa,  destinada  a mejorar  el  programa,  o sumativa  si  se  centra  espedficamente  en 
los  resultados  sin  mas,  Gowan  (1999,  pp.  1-5),  afecta  al  diseno  de  evaluacion. 

Existen  algunos  peligros  que  debemos  considerar  para  evaluar  los  efectos  de  un 
programa,  a veces  no  evaluamos  tanto  el  programa  en  si  cuanto  al  profesor  o un 
pequeno  grupo  de  profesores,  que  intervienen.  Tambien  las  aptitudes  interactuan  con 
el  tratamiento,  a veces  la  misma  instruction  produce  efectos  distintos  dependiendo 
del  tipo  de  estudiante. 

Las  potenciales  soluciones  para  evitar  los  peligros  citados  consisten  en  extremar  el 
control  y combinar  estrategias  cuantitativas  y cualitativas.  Las  estrategias  de  evalua- 
cion deben  proporcionar  la  oportunidad  de  describir  el  camino  en  que  los  sobredota- 
dos  con  ciertas  caracterfsticas  interactuan  con  las  experiencias  previstas  para  ellos.  Los 
estudios  cualitativos  son  necesarios  para  determinar  que  tipo  de  trabajos,  para  que 
individuo,  bajo  que  condiciones  intervienen  ayudando  al  alumno  sobredotado  segun 
sus  necesidades. 

5.  EL  DISEftO  DE  LA  EVALUACION 

El  diseno  es  una  estrategia  de  investigation  destinado  a tratar  de  conocer  cual  es 
la  efectividad  de  un  programa  y si  es  este  programa  mejor  que  aquel  otro  para  sobre- 
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dotados.  Constestar  estas  preguntas  tiene  que  ver  con  el  diseno  de  evaluacion  y la 
forma  como  reunimos  la  informacion.  Cuestionarse  si  el  programa  para  sobredota- 
dos es  mejor  que  seguir  la  marcha  normal  de  clase  no  tiene  mucho  sentido  porque 
los  bien  dotados  deben  estar  atendidos  en  los  centros  en  cualquier  situacion,  incluso 
si  el  programa  para  sobredotados  no  existe.  Ahora  bien,  no  es  facil  probar  que  algo 
es  efectivo  si  no  existe  alguna  comparacion.  Asf  comparamos  un  programa  con  otro, 
o con  una  cantidad  de  estandares  (o  criterios),  o bien  el  grado  en  que  el  programa 
responde  a las  metas  desarrolladas  por  los  educadores  y profesores  para  ese  progra- 
ma. 

Es  posible  pensar  en  varios  tipos  de  disenos  pero  posiblemente  los  cuasi-experi- 
mentales  en  su  formato  de  disenos  de  series  de  tiempo  son  los  que  mejor  se  ajustan  a 
la  filosofia  defendida  por  nuestra  legislacion. 

5. 1 .  Disenos  experimentales 

Los  disenos  experimentales  al  azar  con  grupo  de  control  pretest-postest  (vease  cua- 
dro  1,  apartados  1.1);  y si  no  existe  pretest  (vease  apartado  1.2),  representan  esquemas 
de  investigacion  que  aplicados  a sobredotados  presentan  algunos  problemas.  En  efec- 
to,  las  situaciones  educativas  hacen  dificil  conseguir  dos  grupos  al  azar  de  nirios  sobre- 
dotados, asimismo  parece  poco  procedente  que  un  grupo  experimente  el  programa 
frente  a otro  que  no  lo  hace  (en  realidad  deberan  experimentar  el  programa  de  la  clase 
regular,  o bien  uno  equivalente  puesto  que  no  se  puede  dejar  sin  programa).  Las 
ganancias  finales  si  existen  posiblemente  no  hagan  sino  confirmar  las  diferencias  ini- 
ciales  previas.  Cabe  trabajar  con  dos  programas  equivalentes  y ver  las  ganancias  de 
cada  grupo  respecto  a la  situacion  inicial  tratando  de  indagar  a quien  favorece  real- 
mente  el  programa  y extraer  ensenanzas  del  analisis  de  proceso,  ademas  del  estudio 
de  los  resultados. 


CUADRO 1 

DISENOS  APLICABLES  A LA  EVALUACION  DE  SUPERDOTADOS 


1.  Disenos  experimentales: 

1.1.  Diseno  de  grupos  al  azar  con  control  pretest-postest. 

A Oi  X O2 

A O3  O4 

1.2.  Diseno  de  grupo  de  control  con  postest  solamente. 

A X O,  ' 

A ..  O2 
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ERLC 
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2.  Diseno  contrabalanceado. 

Grupos  A y B (sobredotados). 

El  B sirve  de  comparacion. 

Grupo A 

Grupo  B 

Tiempo  1 

Tiempo  2 

Tiempo  1 

Tiempo  2. 

Si 

Xi  Yi 

S4 

Yi  Xi 

S2 

X2  Y2 

Ss 

Y2  X2 

S3 

X3  y3 

Se 

y3  x3 

Grupos  C (no  sobredotados). 

Grupo  D (no  sobredotados)  El  D sirve 

Ti 

X,  Yi 

T4 

Yi  Xi 

T2 

X2  Y2 

Ts 

Y2  x2 

J3 

x3  y3 

T6 

Y3  X3 

3.  Disenos  cuasi-experimentales: 

3.1.  Disenos  de  series  temporales. 

Oi  O2  03  04  X Os  Os  O7  Os 

3.2.  Disenos  de  linea  base  multiple. 


Oi 

02 

03 

04 

X 

Os 

06 

07 

Os 

Oi 

02 

03 

04 

X 

Os 

06 

07 

Os 

Oi 

02 

03 

04 

X 

Os 

'06 

07 

Os 

3.3.  Disenos  de  grupo  de  control  no  equivalente. 

Oi  X O2 
Os  X 04 


4.  Diseno  correlacional. 
Oi  O2 


5.2.  Disenos  contrabalenceados 

Los  estudiantes  de  un  programa  (vease  cuadro  1 apartado  2)  de  sobredotados  pue- 
den  repartirse  en  grupos  pequenos  y el  curriculo  tambien  se  divide  en  unidades  que  se 
aplican  en  diferentes  tiempos  a lo  largo  del  ano.  El  procedimiento  es  como  sigue:  el 
grupo  A recibe  un  curriculo  X para  ninos  sobredotados  mientras  el  grupo  B (tambien 
de  sobredotados)  recibe  otro  curriculo  Y.  La  evaluacion  tiene  lugar  al  final  del  tiempo 
marcado.  Asi  el  grupo  que  recibe  el  tratamiento  (curriculo)  Y,  actua  de  control  para  la 
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efectividad  del  curriculo  X y,  el  grupo  X actua  de  control  para  el  curriculo  Y.  Pero  no 
quedarfa  demostrada  la  efectividad  de  un  curriculo  diferenciado;  por  ello  se  anaden 
los  grupos  C y D de  alumnos  no  sobredotados,  que  reciben  el  programa  de  los  sobre- 
dotados de  maestros  tambien  de  sobredotados.  Asf  el  grupo  C sirve  de  comparacion 
para  el  grupo  A,  y el  grupo  D de  comparacion  del  grupo  B.  Esto  permite  al  evaluador 
comparar  el  desarrollo  de  los  estudiantes  de  clase  regular  con  el  de  los  estudiantes 
sobredotados  y,  asimismo  comprobar  si  los  alumnos  de  clase  regular  pueden  aprove- 
charse  del  programa  de  los  sobredotados  en  la  misma  medida  que  estos,  (vease  Carter, 
1991,  p.  244). 

5.3.  Disenos  de  series  de  tiempo 

Estos  disenos  son  esquemas  de  investigacion  susceptibles  de  adaptaciones 
teniendo  en  cuenta  la  realidad  escolar.  Por  ejemplo,  hacer  medicion  (evaluacion  pre- 
via), aplicacion  del  programa  y medida  durante  la  aplicacion,  es  decir,  evaluacion 
del  proceso  y medicion  una  vez  finalizado,  de  la  eficacia  en  distintos  niveles,  esto  se 
puede  hacer  semanal,  mensual,  trimestral  y anualmente;  de  este  modo  podemos 
comprobar  cual  es  la  evolucion  del  sujeto  a lo  largo  del  programa,  analizar  en  que 
medida  se  han  conseguido  unos  objetivos,  y comparar  las  medidas  de  distintas  eta- 
pas  del  proceso,  etc. 

En  estos  disenos  aplicables  a un  sujeto  unico  o bien  a un  grupo,  las  medidas  se 
representan  por  la  letra  O mientras  que  para  intervencion  se  recurre  a la  letra  X 
(ver  cuadro  1,  apartado  3).  Presentan  algunas  ventajas,  a),  permiten  evaluar  una  o 
varias  conductas,  dado  que  pueden  tener  mas  de  una  lfnea  base  simultaneamente, 
b)  son  susceptibles  de  analisis  cuantitativos  y cualitativos,  c)  permiten  establecer 
comparaciones  entre  conductas  del  propio  sujeto,  o con  conductas  de  otros  sujetos, 
y d)  las  propias  medidas  del  sujeto  a lo  largo  del  tiempo  sirven  como  su  propio 
control. 

Los  disenos  de  lfnea  base  multiple,  adaptados,  son  susceptibles  de  amoldarse 
para  introducir  varios  tratamientos  a lo  largo  de  un  proceso  (estos  pueden  ser  las 
distintas  unidades  didacticas),  asimismo  valorar  el  efecto  sobre  distintas  conductas 
de  un  mismo  sujeto,  pudiendo  apreciar  su  evolucion.  En  teorfa  podrfan  incluso  ser 
conductas  de  sujetos  diferentes  que  luego  podemos  comparar. 

El  analisis  puede  ser  cuantitativo  y cualitativo;  si  las  comparaciones  se  hacen  entre 
fases  de  tratamiento  y no  tratamiento  recurrimos  a la  prueba  de  «t»;  si  tenemos  medi- 
das de  antes,  durante  y despues  del  tratamiento  al  analisis  de  varianza  y,  a la  regresion 
cuando  en  base  a medidas  previas  hacemos  una  prediccion  de  los  resultados  futuros  y 
comparamos  ambos.  Las  limitaciones  al  uso  de  estas  pruebas  esta  en  la  falta  de  inde- 
pendencia  de  las  puntuaciones,  dado  que  al  ser  medidas  sucesivas  de  los  mismos  suje- 
tos tienen  efectos  aditivos  que  se  confunden  con  el  efecto  del  programa.  De  ahf  que 
proceda  hacer  en  paralelo  tanto  estudios  mas  cualitativos,  como  analisis  de  tareas, 
materiales  elaborados,  graficos  evolutivos  de  la  conducta,  etc.,  que  puedan  responder 
a una  adecuada  evaluacion  del  programa. 
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Otra  de  sus  limitaciones  esta  en  que  los  padres  no  quieren  que  se  interrumpa  un 
programa  y han  de  llevarse  a cabo  adaptaciones  para  conseguirlo. 

5.4.  Disenos  de  grupos  de  control  no  equivalente 

Aqui  nos  encontramos  con  un  diseno  de  grupo  donde  los  procedimientos  de 
azar  no  son  posibles.  En  este  caso  se  toman  dos  grupos  intactos  que  se  prueban  antes 
y despues  del  tratamiento.  Mientras  un  grupo  experimenta  el  tratamiento  el  otro 
actua  como  control  (se  supone  que  siguiendo  el  de  la  clase  regular  o uno  alternati- 
ve). La  interpretation  de  los  efectos  del  tratamiento  requiere  comprobar  las  diferen- 
cias  previas  que  existen  en  variables  como  edad,  habilidad,  motivation.  Asi,  el 
analisis  se  presenta  mas  facil  si  los  grupos  muestran  una  equivalencia  previa, 
pudiendo  compararse  en  los  resultados  finales  mediante  una  prueba  de  «t».  En  caso 
de  que  no  se  conozca  dicha  equivalencia  previa  conviene  utilizar  el  analisis  de  cova- 
rianza  para  estudiar  las  medidas  de  postest  teniendo  en  consideration  las  diferen- 
cias  iniciales. 

5.5.  Diseno  correlacional 

Es  un  diseno  de  un  solo  grupo  y los  datos  son  analizados  via  estadistica  correlacio- 
nal; correlation  multiple.  Es  mas  apropiado  para  el  estudio  de  relaciones  pero  menos 
indicado  para  el  estudio  de  los  efectos  de  un  programa. 

6.  PROPUESTA  DE  EVALUACION  DE  UN  PROGRAMA  EN  EL  AREA  DETEC- 

NOLOGIA 

A continuation  presentamos  algunas  pautas  para  la  elaboration  de  un  programa  y 
su  propuesta  de  evaluacion  en  el  Area  de  Tecnologia.  Se  trata  de  una  propuesta  incom- 
pleta,  pues  un  proyecto  acabado  rebasa  los  limites  de  este  trabajo.  Pese  a ello,  conside- 
ramos  que  en  el  se  concreta  parte  de  la  filosofia  del  tipo  de  evaluacion  de  programa 
defendido  a traves  de  las  paginas  previas.  Figura  el  proyecto  diddctico  que  debe  comple- 
tarse  en  muchas  de  sus  partes,  el  diseno  de  la  unidad  didactica  en  el  que  se  plantea  la 
solucion  de  un  problema/s,  los  objetivos,  los  blocjues  de  contenido  y,  la  evaluacion:  con 
referencias  a su  concretion  en  los  instrumentos,  criterios,  desenvolvimiento  instructi- 
ve, logros,  y valoracion  global,  (ver  los  Cuadros  2,  3 y 4). 

Se  presentan  asimismo  los  objetivos,  amplios  y especificos,  se  intenta  un  desarrollo 
pleno  y equilibrado  de  distintas  capacidades  y habilidades.  Se  hace  hincapie  en  el  des- 
cubrimiento,  la  flexibilidad,  la  indagacion,  la  divergencia,  pero  tambien  en  la  solucion 
de  problemas  concretos,  se  dan  pautas  para  la  evaluacion  del  proceso  pero  tambien  de 
los  logros.  Se  da  importancia  al  trabajo  personal  y en  elaboration,  al  uso  de  la  tecno- 
logia, a la  conexion  de  los  conocimientos  teoricos  con  la  vida  practica  y,  a la  solucion 
de  problemas. 
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CUADRO  2 

UNA  PROPUESTA  DE  PROGRAMA  Y SU  EVALUAClON 


En  el  Diseno  Curricular  Base  para  la  Educacion  Secundaria  Obligatoria  la  Tecnologfa  se  define  como  un 
conjunto  de  procesos  de  invention,  fabricacion  y uso  de  objetos  que  se  crean  o utilizan  a la  hora  de  resolver 
un  problema.  En  esta  area  su  metodologia  se  centra  en  el  metodo  de  proyectos. 


1.  Proyecto  didactico. 

Identification  y diagnostics  de  necesidades  del  alum- 
no  sobredotado. 

Objetivos: 

Generales:  planificar  un  proyecto,  desarrollar 
actitudes  de  investigation. 

Esperfficos. 

Conductuales. 

Procedimentales. 

Diseno  de  actividades. 

Organization,  metodologia  y temporalizacion. 
Recursos. 

Evaluation. 

2.  Diseno  de  la  Unidad  Didactica. 

— Planteamiento  del  problema,  (elaborar  la  maqueta 
de  un  edificio/s  con  la  ayuda  de  un  programa 
informatico). 

— Busqueda  de  la  information. 

— Diseno  (reunir  las  caracterfsticas  que  deben  tener 
los  proyectos). 

— Construction  del  objeto  tecnologico  disenado. 

— Memoria  de  evaluation  del  proceso  seguido  para 
alcanzar  la  solution. 

3.  Objetivos  de  la  Tecnologfa  de  la  ESO:  desenvol- 
ver  capacidades  para: 

— Abordar  de  forma  autonoma  los  problemas. 

— Utilizar  sus  conocimientos  sobre  tecnicas  basicas. 

— Planificar  y llevar  a cabo  proyectos. 

— Expresar  y comunicar  las  solutiones. 

— Mantener  una  actitud  de  indagacion,  curiosidad, 
flexibilidad  e innovation. 

— Valorar  la  importancia  del  trabajo  en  equipo. 

4.  Bloques  de  contenidos: 

— Resolution  tecnica  de  problemas. 

— Analisis  de  objetos  y sistemas. 

— Representation  grafica. 

— Herramientas  y tecnicas  de  construction. 

— Tecnicas  de  administration  y gestion. 

5.  Temporalizacion. 

— Materia  anual. 

— Registro  de  observation  quincenales  y final 


6.  Evaluacion. 

— Valorar  el  grado  de  conocimiento  e interes  con 
que  se  desarrollo. 

— Constatar  si  es  capaz  de  abordar  con  autonomfa 
las  tareas  de  diseno  de  la  solution  a un  problema. 

— Comprobar  si  se  alcanza  el  nivel  de  identificacion 
de  formas,  dimensiones,  materials  empleados. 

— Comprobar  la  capacidad  de  expresion  por  medios 
graficos. 

— Valorar  la  capacidad  de  planificacion,  construc- 
tion aplicacion,  colaboration. 

7.  Instrumentos  de  evaluacion: 

— Observation  directa  en  la  clase. 

— Observation  del  proceso:  ajuste  entre  el  plan  y el 
desarrollo,  resultados  parciales,  satisfaction. 

— Observation  del  producto  final:  funcionamiento, 
creatividad,  nivel  alcanzado. 

— Memoria  informe: 

presentation,  uso  del  lenguaje,  razonamiento, 
organization,  originalidad. 


8.  Criterios  de  valoracion: 

— Excelencia : superioridad  respecto  a los  demas  en 
alguna  dimension. 

— Originalidad:  respuestas  no  habituales  «unicas». 

— Productividad:  contrastada  o potencial. 

— Demostrabilidad:  mediante  pruebas  validas  y 
fiables. 

— Valor : mostrar  un  desarrollo  superior  validado 
por  la  sociedad. 
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CUADRO  3 

EVALUAClON  DEL  DESENVOLVIMIENTO 1NSTRUCTIVO  DEL  ALUMNO 


Evaluacion  del  proceso  instructive)  del  alumno  (Area  de  tecnologia). 

1.  Forma  de  trabajar. 

6.  Actitudes  y forma  de  trabajo: 

— Trabaja  cooperativamente. 

— Perseverancia 

— Pregunta  al  companero. 

— Participacion. 

— Pregunta  al  profesor 

— Interes. 

— Sigue  al  companero. 

— Disponibilidad. 

— Lidera  a los  companeros. 

— Concentracion. 

— Trabaja  solo. 

— Iniciativa. 

— Creatividad. 

2.  Relacion  con  los  companeros. 

— Positiva. 

— Flexibilidad. 

— Neutra. 

7.  Pre&entacion  de  los  logros  fijados. 

— Negativa. 

— Elaboracion  del  proyecto. 

— Representacion  de  figuras. 

3.  Aportacion  crftica. 

— Elaboracion  de  presupuestos. 

— Colabora  constructivamente. 

— Presentacion  de  un  presupuesto  en  una  hoja  de 

— Adopta  posturas  neutrales. 

calculo. 

— Interviene  destructivamente. 
4.  Interaccion  con  el  profesor: 

— Presentacion  del  Informe  de  un  proyecto  con  un 
tratamiento  de  texto. 

— Independencia. 

8.  Habitos  y ritmos  de  trabajo. 

— Dependencia. 

— Curiosidad. 

— Solicita  ayuda. 

— Originalidad. 

— Aporta  soluciones. 

— Colaboracion  con  los  demas. 

— Concentracion. 

5.  Interaccion  con  los  companeros. 

— Dispersion. 

— Independencia. 

— Ritmo  de  trabajo  lento. 

— Dependencia. 

— Ritmo  de  trabajo  rapido. 

— Solicita  ayuda. 

— Autonomia. 

— Aporta  soluciones. 

— Independencia. 

CUADRO  4 

valoraciOn  global  en  el  programa  de  las  habilidades  para 

D1SENAR,  DESARROLLAR  Y EJECUTAR  UN  PROYECTO 


Actividad 

Resultados 

Puntos  de 
observacion 

Criterios: 

demostrabilidad 

Proceso  de 
desarrollo: 
productividad 

Analisis 

Desarrollar  un 
proyecto 
(maqueta  de 
un  edificio) 
(Tecnologia) 

Presentacion  de 
un  presupuesto 
— Informe  de 
investigacion. 

Final  de  la 
unidad. 

Valoracion  por: 

— profesores. 

— companeros. 

— expertos. 

— Completa 
parcialmente. 

— Completa 
totalmente. 

— Satisfactorio. 

— Excelente. 

— Original. 

— Valioso. 
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Asx  la  evaluation  de  un  programa  de  sobredotado/s,  debe  ser:  multidimensional 
valorando  habilidades  de  planteamiento  de  problemas,  busqueda,  diseno,  construc- 
tion, solution  e innovation  y evaluando  las  habilidades  tal  y como  se  emplean  en  el 
contexto  de  su  aprendizaje;  longitudinal  buscando  en  el  proceso  el  modo  como  va  des- 
arrollando  su  entendimiento  y su  habilidad  para  ampliar  su  pensamiento  por  cone- 
xion  a metodos,  fuentes  etc.  y;  critica  que  proporcione  una  respuesta  al  estudiante 
ofreciendole  una  perspectiva  analftica  de  su  trabajo  y la  posibilidad  de  mejorarlo  de 
forma  innovadora  y creadora. 
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RESUMEN 

La  atencion  a los  alumnos  mas  capaces  estd  conociendo  un  renovado  interes  en  el  marco  de 
una  educacion  para  la  excelencia  que  contempla  formalmente  la  diversidad  del  alumnado.  La 
investigacion  mas  rigurosa  debe  apoyar  y modular  su  educacion. 

Este  articulo  resume  resultados  de  la  evaluacion  de  programas  para  los  alumnos  superdota- 
dos,  deteniendose  en  dos  estudios  seneros  objeto  de  evaluacion  longitudinal:  el  ya  historico  de 
Terman  y el  modelo  del  talento  matemdtico  de  Stanley.  Asimismo  analiza  los  resultados  del  pro- 
grama  de  enriquecimiento  de  Renzulli  y los  que  se  obtienen  con  la  agrupacion  por  capacidad  en 
sus  diversas  manifestaciones. 

ABSTRACT 

Educational  attention  of  gifted  students  is  achieving  renewed  interest  within  the  frame  of 
education  for  excellence,  since  it  contemplates  student  diversity  formally.  Rigorous  research 
must  support  and  modulate  the  education  of  such  students. 

This  study  summarises  the  evaluation  results  of  programs  for  the  gifted,  placing  special 
emphasis  on  two  crucial  longitudinal  evaluation  programs,  Terman's  already  historical  and 
Stanley's  model  of  mathematical  talent.  It  also  analyses  the  results  of  Renzulli's  enrichment 
program  and  those  obtained  through  ability  grouping  in  its  different  forms. 
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1.  PLANTEAMIENTO  DELTEMA 

Todo  programa  pretende  satisfacer  las  necesidades  de  sus  destinatarios  que  en 
nuestro  caso  son  alumnos  que  aprenden  a mayor  ritmo,  con  mayor  profundidad  y 
mayor  extension  que  sus  iguales.  La  evaluacion  de  programas  no  es  una  practica  habi- 
tual de  la  escuela.  La  alta  capacidad  afecta  a una  proporcion  menor  de  la  poblacion 
escolar  que,  ademas,  no  goza  de  pleno  reconocimiento  formal.  Sin  embargo,  es  objeto 
de  programas  especificos  en  paises  como  Estados  Unidos,  programas  que  suelen 
incorporar  un  dispositivo  evaluador  que  pretende  documentar  su  impacto,  justificar 
su  coste,  identificar  los  elementos  criticos  y ofrecer  indicadores  de  su  eficacia  a los  gru- 
pos  a los  que  concierne  el  programa,  cara  a tomar  decisiones  de  mejora  respecto  del 
programa  y por  parte  de  las  personas  en  el  implicadas. 

En  las  lineas  que  siguen  se  esbozan  los  aspectos  nucleares  en  la  evaluacion  y se  resu- 
me la  valoracion  que  merecen  programas  para  los  alumnos  mas  capaces  y que  giran  en 
tomo  a tres  ejes  clasicos:  aceleracion,  enriquecimiento  y agrupamiento  por  capacidad. 

2.  JUSTIFICACION  DE  LA  EVALUACION  DE  PROGRAMAS  PARA  ALUMNOS 
SUPERDOTADOS 

La  evaluacion  de  estos  programas  entraria  dificultades  propias.  Por  ejemplo,  los  tests 
para  el  diagnostico  de  la  alta  capacidad  tienen  un  techo  muy  bajo;  caracteristicas  como 
las  preferencias  sobre  el  estilo  de  vida  que  modulan  las  opciones  curriculares  de  las  jove- 
nes  superdotadas  apenas  si  estan  formalizadas  en  instrumentos  de  medida  (Lubinski, 
Benbow  y Sander,  1993).  En  programas  de  aceleracion  es  facil  evaluar  si  un  alumno  de 
doce  anos  logra  los  mismos  resultados  que  otro  de  trece,  o si  el  90  por  100  de  los  mas 
capaces  ingresa  en  prestigiosas  universidades  frente  al  30  por  100  de  la  poblacion  gene- 
ral. Tambien  es  facil  evaluar  productos  que  reflejen  con  claridad  cambios  en  las  habilida- 
des  del  alumno  y que,  probablemente,  no  habrfan  adquirido  de  no  mediar  el  programa. 
Es  mas  diffcil  evaluar  la  capacidad  de  tomar  decisiones,  el  pensamiento  crftico,  la  auto- 
conciencia,  la  responsabilidad  social,  la  motivacion  intrfnseca,  la  creatividad,  aspectos 
definidores  de  varios  programas.  Estudiosos  de  la  superdotacion  proponen  modelos  de 
evaluacion  de  programas  para  dichos  alumnos,  tal  es  el  caso  de  Callahan  (1993,  1998), 
Van  Tassel-Baska  (1992)  o Davis  y Rimm  (1998).  Callahan  y Caldwell  (1995)  senalan  ocho 
finalidades  a legitimar  en  dicha  evaluacion  que  agrupan  como  sigue: 

1.  Planificando  para  la  evaluacion.  Prever  desde  el  comienzo  informacion  util  para 
documentar  la  necesidad  del  programa,  justificar  el  modelo  especffico  de  pro- 
grama elegido  y mostrar  que  es  factible  de  aplicacion. 

2.  Evaluacion  de  la  puesta  en  marcha  del  programa.  Recoger  informacion  util  para 
documentar  como  se  ha  aplicado  de  hecho  el  programa  e identificar  sus  caracte- 
risticas positivas  y sus  debilidades  cara  a mejorar  el  programa  y su  aplicacion. 

3.  Evaluacion  del  programa  ya  estabilizado.  Mostrar  los  resultados  del  esfuerzo  selec- 
cionando  los  aspectos  que  mas  conciernen  a cada  uno  de  los  grupos  que  han 
sostenido  el  programa  como  profesores,  direccion,  padres,  autoridades  y patro- 
cinadores  externos. 
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3.  EL  ENFOQUE  LONGITUDINAL  EN  LA  EVALUACION  DE  PROGRAMAS 

Se  trata  de  una  familia  de  metodos  de  medidas  repetidas  que  recogen  datos  de 
los  mismos  sujetos  en  las  mismas  o comparables  caracteristicas,  en  dos  o mas  perio- 
dos  temporales  distintos.  Observaciones  multiples  de  los  mismos  sujetos  a lo  largo 
del  tiempo  permiten  el  analisis  de  las  diferencias  intra  e interindividuales  y determi- 
nar  la  eficacia  de  un  programa  (Subotnik  y Arnold,  1993).  Analicemos  dos  estudios 
seneros,  si  bien  el  primero  no  es  propiamente  un  programa  sino  un  marco  adecuado 
para  comprender  la  alta  capacidad. 

3.1.  El  estudio  longitudinal  deTerman 

Fue  iniciado  en  1921  en  la  Universidad  de  Stanford  en  California  y su  finalidad  era 
analizar  las  caracteristicas  de  los  sujetos  con  alto  Cl,  la  evolution  de  sus  logros  y el 
grado  de  estabilidad  de  la  inteligencia.  El  procedimiento  fue  el  siguiente.  Selecciono 
una  muestra  de  1.528  alumnos  con  edades  comprendidas  entre  los  12  y los  14  anos;  857 
alumnos  y 671  alumnas.  Utilizo  dos  criterios.  En  primer  lugar  pidio  al  profesorado 
que  preseleccionara  a los  tres  alumnos  mas  dotados.  En  segundo  lugar,  aplico  a los 
preseleccionados  el  test  de  Stanford-Binet  y selecciono  a los  que  obtuvieron  en  el  140  o 
mas  puntos.  Selecciono  un  grupo  de  control  de  la  poblacion  general. 

Obtuvo  una  serie  de  medidas  en  distintos  momentos  a traves  de  cuestionario  para 
los  padres,  informe  de  los  maestros,  examen  medico  de  aproximadamente  la  mitad  de 
la  muestra,  baterias  de  tests  de  rendimiento  y de  personalidad,  inventario  de  intereses 
personales,  medida  de  las  actitudes  hacia  el  juego,  medidas  antropometricas  estandar 
y entrevistas.  Logro  el  seguimiento  del  90  por  100  de  la  muestra  initial  a lo  largo  de 
medio  siglo,  pues  sus  colaboradores  publicaron  resultados  despues  de  fallecido  Ter- 
man  (Oden,  1968). 

El  resumen  (Terman,  1925,  Terman  y Oden  1947;  Oden,  1968)  de  los  obtenidos 
puede  ser  que  en  relation  al  grupo  normal,  los  superdotados  destacaban  significativa- 
mente  en  rendimiento  academico  y profesional,  no  manifestaban  problemas  de  ajuste 
personal,  destacaban  ligeramente  en  caracteristicas  fisicas  como  salud  y aspecto;  terti- 
an intereses  mas  elevados,  eran  mejores  lectores  y procedian  de  familias  y ambientes 
mas  selectos.  Son  valores  de  grupo,  es  decir,  habia  sujetos  que  en  la  edad  adulta  ejerci- 
an  trabajos  intelectualmente  sencillos  y otros  sobrepasados  por  las  tircunstancias  de  la 
vida  pero,  en  conjunto,  ocupaban  profesiones  en  los  niveles  altos  en  terminos  signifi- 
cativamente  superiores  a la  poblacion  general  y presentaban  buena  adaptation.  Rom- 
pio  el  mito  de  la  fragilidad  fisica  del  superdotado  y establecio  con  claridad  la 
correlation  entre  rendimiento  escolar  y CL 

Algunas  precisiones  para  valorar  dichos  resultados  (Laycock,  1979;  Vialle,  1994). 
Partio  de  una  conception  unidimensional  de  la  inteligencia  muy  vinculada  al  rendi- 
miento academico;  no  tomo  en  consideration  la  creatividad  y quiza  por  ello  en  su 
estudio  no  hubo  ningun  genio,  en  el  sentido  de  persona  tan  capaz  que  rompe  con  las 
normas  imperantes  en  un  campo  y termina  por  crear  las  suyas  propias;  los  sujetos  se 
sabian  positivamente  observados;  muestra  general  y submuestras  contenian  sesgos 
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como  hiperrepresentacion  de  los  judfos  e hiporrepresentacion  del  genero  femenino;  no 
presto  atencion  a la  mortalidad  experimental;  el  grupo  de  control  no  era  equivalente  al 
experimental1. 

3.2.  El  talento  matematico  o modelo  de  Stanley 

El  SMPY  ( Study  of  Matematically  Precocious  Youth ) o estudio  del  talento  matematico  ha 
sido  iniciado  por  Julian  C.  Stanley  en  1971  en  la  Universidad  Johns  Hopkins  de  Baltimo- 
re y su  finalidad  es  conducir  una  investigacion  que  sirva  para  ayudar  a los  estudiantes 
intelectualmente  muy  capaces  en  el  campo  matematico,  identificando  los  factores  que 
contribuyen  a su  desarrollo  academico  y vocacional  (Stanley,  1973).  Es  un  modelo  con 
relieve  propio  por  la  capacidad  que  estudia,  la  matematica  o cientifica;  por  el  modelo  de 
identificacion  y diagnostico  que  ha  desarrollado,  la  «busqueda  del  talento»  mediante 
tests  de  nivel  superior;  por  la  opcion  curricular  en  que  se  apoya,  «la  aceleracion  a la 
medida»,  y por  incorporar  un  diseno  longitudinal  multicohorte  que  a lo  largo  de  cin- 
cuenta  anos  pretende  valorar  la  trayectoria  de  los  participantes  y estudiar  diferencias 
intra  e interindividuales  (Benbow,  1991).  En  1972  Stanley  y su  equipo  identificaron  450 
estudiantes;  veinte  anos  mas  tarde  la  cifra  de  aspirantes  habia  superado  los  140.000. 

El  proceso  de  diagnostico  tiene  dos  fases.  En  la  primera,  seleccionan  a los  alumnos 
que  a la  edad  de  12-13  anos  se  situan  en  el  percentil  97  o superior  en  los  tests  estanda- 
rizados  de  rendimiento  en  los  baremos  propios  de  esa  edad.  Los  alumnos  del  3%  supe- 
rior pueden  ser  candidatos  al  SMPY.  En  la  segunda,  se  les  aplica  el  SAT-M  ( Scholastic 
Aptitude  Tests)  o test  de  evaluacion  de  la  capacidad  matematica  version  propia  de  los 
alumnos  de  16-17  anos.  El  grupo  del  3%  superior  es  de  por  si  altamente  selecto;  sin 
embargo  obtiene  en  el  test  de  nivel  superior  o con  techo  mas  alto  (SAT-M),  puntuacio- 
nes  que  varian  ampliamente  y que  se  distribuyen  a su  vez  segun  el  modelo  de  la  curva 
normal  (Cfr.  Jimenez  Fernandez,  2000,  cap.  I y III). 

Aunque  el  programa  ha  revisado  sus  planteamientos,  permanece  el  concepto  inicial 
y considera  altamente  capacitados  sobre  el  20%-30%  de  los  preseleccionados,  que  equi- 
vale  a entre  el  1%  y el  0,5%  de  la  poblacion  general.  Los  restantes  alumnos  se  categorizan 
estableciendo  puntos  de  corte  en  el  tests  de  nivel  superior.  Tras  unos  anos  de  apUcacion 
purista,  el  SMPY  se  ha  abierto  a la  investigacion  del  talento  verbal  y selecciona  a los  aspi- 
rantes con  la  misma  estrategia,  solo  que  les  aplica  el  SAT-V  o test  de  razonamiento  ver- 
bal de  nivel  superior  (Benbow,  1991;  Cohn,  1991).  Las  puntuaciones  del  SAT  se  expresan 
en  una  escala  que  varia  de  200  a 800  con  media  de  500  y desviacion  txpica  de  100.  El  pro- 
grama continua  y ha  sido  incorporado  por  otras  instituciones.  En  1986  se  dividio  en  dos 
ramas,  creando  una  similar  en  la  Universidad  de  Iowa  liderada  por  Benbow. 


1 Uno  de  los  aspectos  criticado  a posteriori  ha  sido  la  interpretacion  dada  a las  diferencias  entre  gene- 
ros,  totalmente  ligada  al  estereotipo  social.  En  la  edad  adulta,  la  mitad  de  las  mujeres  superdotadas  estudia- 
das  eran  amas  de  casa  y la  otra  mitad  realizaba  ademas  tareas  profesionales  en  puestos  menos 
remunerados,  en  trabajos  de  inferior  rango  academico  o con  dedication  parcial.  Terman  era  hijo  de  su  tiem- 
po.  Las  pruebas  de  Cl  no  mostraban  diferencias  significativas  entre  hombres  y mujeres  y un  dato  de  marca 
como  este,  le  hacia  dudar  de  las  explicaciones  simplistas;  pero  fue  incapaz  de  avanzar  nuevas  hipotesis 
explicativas  y se  dejo  atrapar  por  sesgos  y estereotipos  (Cfr.  Vialle,  1994). 
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3.2.1.  La  aceleracion  como  option  curricular 

Stanley  considera  la  aceleracion  como  la  mejor  opcion  para  los  alumnos  altamente 
capaces,  coincidiendo  en  ello  con  las  recomendaciones  de  Terman2.  En  la  practica,  la 

CUADRO  1 

TIPOS  DE  PROGRAMAS  RECOMENDADOS  EN  EL  SMPY  SEGUN  LOS 
RESULTADOS  OBTENIDOS  EN  EL  SAT  (COHN,  1991) 

a)  Puntuaciones  en  el  Hmite  de  las  esperadas  por  azar  o de  aproximadamente  230  en  el  SAT-V  y de  270  en  el 
SAT-M.  Los  partidpantes  en  el  «talent  search»  o busqueda  del  talento  que  obtienen  puntuadones  en  el 
limite  de  lo  esperado  por  azar,  predsan  recordar  que  aun  asi  pertenecen  al  grupo  del  3 % o del  5 % supe- 
rior de  su  grupo  de  edad  en  las  pruebas  de  razonamiento  matematico  y verbal,  respectivamente.  Las 
opdones  educativas  apropiadas  para  estos  chicos  son: 

• Cursar  al  maximo  nivel  (honors-level)  materias  fundamentals. 

• Seminarios  de  enriquecimiento,  tales  como  estudios  interdisdplinares. 

• Oportunidades  educativas  extraescolares  ofrecidas  por  la  comunidad. 

• Orientacion  academica. 

b)  Puntuaciones  entre  270  y 500  en  el  SAT-M  o entre  230  y 430  en  el  SAT-V.  Equivalente  en  el  primer 
caso  a la  media  obtenida  por  los  alumnos  varones  de  bachillerato-COU  y en  el  segundo  a la  media 
obtenida  por  dichos  alumnos  de  ambos  sexos.  Recomiendan: 

0 Comenzar  tempranamente  a ritmo  regular  un  curso  de  un  tema  importante,  sobre  todo  para  los  que 
puntuan  en  el  rango  mas  bajo. 

• Compactar  el  curriculo  en  alguna  materia  importante  realizando  en  un  afio  el  equivalente  a dos. 

• Curso  de  verano  en  la  universidad  o clase  a lo  largo  del  ano  academico,  para  los  muy  motivados  y 
situados  en  el  rango  superior  del  intervalo. 

c)  Puntuaciones  entre  510  y 630  en  el  SAT-M  o entre  440  y 590  en  el  SAT-V.  Estos  alumnos  puntuan  por 
encima  de  la  media  de  los  alumnos  de  bachillerato-COU.  Recomiendan: 

• Ensenanza  individualizada  a ritmo  rapido  y de  contenido  complejo  en  aspectos  importantes  del  curriculo. 

• Realizar  algun  curso  universitario  mientras  culminan  los  estudios  de  secundaria. 

• Acceso  precoz  a cursos  reglados  de  nivel  superior. 

• En  algunos  casos,  salto  de  curso  cuidadosamente  planificado. 

d)  Puntuaciones  entre  640  y 800  en  el  SAT-M  o entre  600  y 800  en  el  SAT-V.  Son  extremadamente  dotados 
en  capaddad  numerica  o verbal  y ademas  de  las  opciones  anteriores  que  son  posibles  en  todos  los 
casos,  recomiendan  la: 

• Admision  temprana  a tiempo  parcial  en  la  universidad. 

• Admision  temprana  a tiempo  total  en  la  universidad. 


2 Su  colaboradora  Benbow  (1991)  recoge  las  siguientes  formas  de  aceleracion:  salto  de  curso;  entrada 
precoz  en  la  escuela  preescolar  o primaria;  condensar  el  curriculo  y realizar  tres  cursos  en  dos  anos,  por  ejem- 
plo;  curriculo  de  progreso  continuo;  ingreso  precoz  en  bachillerato  o en  la  universidad;  reaHzacion  de  cursos 
superiores  en  programas  de  verano,  horario  noctumo  o similar  en  paralelo  con  el  bachillerato;  cursos  regla- 
dos de  nivel  avanzado  y ensenanza  dual;  mentores  y cursos  a distancia  que  se  prestan  bien  para  enriquecer  y 
acelerar  el  curriculo  pues  si  van  preparados,  son  alumnos  con  gran  capacidad  de  aprendizaje  autonomo. 
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recomendacion  de  un  tipo  u otro  de  ensenanza  se  apoya  basicamente  en  los  resultados 
obtenidos  por  los  alumnos  en  el  SAT.  El  Cuadro  1 recoge  las  categorxas  que  establecen 
y las  propuestas  curriculares. 

3.2.2.  Perspective  evolutiva  del  talento  matematico 

La  evaluacion  se  apoya  en  un  diseno  longitudinal  planeado  para  seguir  a lo  largo 
de  medio  siglo  el  desarrollo  academico,  profesional  y personal  de  varias  cohortes.  El 
procedimiento  es  el  siguiente.  En  el  momento  de  la  identificacidn,  12-13  anos  de  edad, 
los  alumnos  cumplimentan  los  dos  tests  y un  cuestionario.  Posteriormente  se  envxa  un 
cuestionario  a los  padres.  A los  17-18  anos  reciben  por  correo  un  nuevo  cuestionario  y 
otro  mas  amplio  cuando  tienen  23-24  anos.  En  algunos  casos  aplican  ademas  otras 
pmebas. 

El  marco  conceptual  que  guia  la  evaluacion  parte  de  un  modelo  de  adaptacion  voca- 
cional,  la  teoria  de  ajuste  al  trabajo,  en  la  que  el  aprendizaje  optimo  y el  contexto  del  tra- 
bajo  son  dos  niveles  que  requieren  correspondencia  mutua  y que  denominan  como 
satisfactoriedad  y satisfaccion.  La  satisfactoriedad  denota  el  grado  de  correspondencia 
entre  las  capacidades  y los  requisitos  exigidos  por  xin  entomo  determinado,  a saber,  el 
curriculo  o la  ocupacion.  La  satisfaccion  denota  el  grado  de  correspondencia  entre  las 
preferencias  y los  tipos  de  refuerzos  de  una  ocupacion  o xma  trayectoria  educativa.  La 
Tabla  1 muestra  la  riqueza  del  diseno  y recoge  datos  sobre  seis  cohortes  de  alumnos. 


TABLA 1 

DISENO  LONGITUDINAL  DEL  SMPY.  COHORTES  EN  ESTUDIO  (LUBINSKI, 

BENBOW  Y SANDERS , 1993) 


Fecha 

Edad 

Nivel  de 

Cohorte 

N 

identificacidn 

identificacidn 

Criterio  en  el  SAT 

capacidad 

1 2188 

972-1974 

12-13 

Matem.  > de  390 
Verbal  > de  370 

1% 

2 778 

1976-1979 

12 

1/3  superior  de  los 
preselecdonados 

0.5% 

3 423 

1980-1983 

<13 

Matem.  > 700 
Verbal  ( 630 

0.01% 

Grupo  de  compararion 

1983 

12 

SAT-M+SAT-V  < 540 

5% 

4 =750 

1987 

12 

Matem.  > 500 
Verbal  ( 430 

0.5% 

La  cohorte  numero  5 incluye  750  estudiantes  matriculados  en  prestigiosas  facultades  y escuelas  de 
Estados  Unidos  en  varias  carreras  cientificas;  fueron  estudiados  en  1992  cuando  tertian  23-25  anos. 


Cada  cohorte  esta  separada  unos  cinco  anos  de  la  siguiente  y en  conjunto  ocupan 
un  espacio  de  veinte  anos.  Estan  siendo  observadas  a la  misma  edad  para  controlar 
efectos  como  el  desarrollo  y la  maduracion.  En  el  analisis  de  datos  contemplan  varios 


Evaluation  de  programas  para  alumnos  superdotados 


559 


grupos  formados  por  nivel  de  capacidad  a los  12-13  anos  y genero  o education  acele- 
rada  y no  acelerada,  entre  otros. 

Sus  principales  hallazgos  son  (Stanley  y Benbow,  1983;  Benbow  y Minor,  1986; 
Swiatek  y Benbow,  1991;  Benbow,  1991, 1992):  a)  Mostrar  la  validez  predictiva  del  SAT 
de  nivel  superior  en  el  diagnostico  del  talento  matematico;  b)  Probar  que  la  alta  capa- 
cidad  permite  a los  que  la  poseen  manejar  con  desenvoltura  los  desaffos  intelectuales 
y academicos  que  plantea  la  aceleracion  del  curriculo;  c)  Los  chicos  obtienen  puntua- 
ciones  significativamente  mas  altas  que  las  chicas  en  el  SAT-M,  desaparecen  las  dife- 
rencias  en  el  SAT-V,  se  mantiene  debilitada  la  tendencia  a una  mayor  participation 
masculina  en  programas  de  este  tipo  y estudios  mas  recientes  rompen  parcialmente 
estereotipos  ligados  al  genero,  en  el  sentido  de  que  las  chicas  que  deciden  participar  en 
cursos  de  aceleracion,  obtienen  en  ellos  un  rendimiento  similar  al  de  los  chicos,  y des- 
aparecen las  diferencias  significativas  tradicionalmente  existentes  entre  los  generos  en 
actitud  hacia  programas  de  este  tipo.  Ambos  grupos  obtienen  altos  rendimientos  uni- 
versitarios;  el  masculino  obtiene  grados  mas  altos.  El  seguimiento  de  la  primera  cohor- 
te  a lo  largo  de  diez  anos  pone  de  manifiesto  que  menos  del  1%  de  las  chicas  situadas 
en  la  cola  del  1%  superior  en  capacidad,  ha  proseguido  estudios  de  doctorado  en  cien- 
cias  o ingenieria  mientras  lo  estan  haciendo  ocho  veces  mas  chicos  (Cfr.  Jimenez  Fer- 
nandez, 2000,  cap.  IV)3. 

4.  EL  ENFOQUE TRANSVERSAL  EN  LA  EVALUACION  DE  PROGRAMAS 

Este  enfoque  mide  a los  sujetos  en  un  momento  temporal  determinado  y estas 
observaciones  frecuentemente  se  toman  como  resultados  de  determinadas  interven- 
ciones  o programas.  Solo  puede  medir  directamente  diferencias  interindividuales. 
Buena  parte  de  los  programas  que  informan  de  resultados  de  la  evaluation  caen  den- 
tro  de  este  enfoque,  si  bien  en  muchos  casos  las  medidas  son  tan  debiles,  que  es  dificil 


3 En  el  caso  del  genero  es  esclarecedor  seguir  la  evolucion  e interpretation  de  las  diferencias;  la  pole- 
mica  acaecida  entre  Stanley  (Stanley  y Benbow,  1983)  y Alenxander  y Pallas  (1983)  a raiz  de  la  publication 
de  un  articulo  de  Benbow  y Stanley  que  revisaba  los  diez  primeros  anos  del  SMPY;  la  contrareplica  (Ben- 
bow y Stanley,  1983),  la  finura  de  datos  e interpretaciones  mas  profundas  (Lubinski,  Benbow  y Sander, 
1993).  Stanley  y Benbow  mantuvieron  en  la  contrarreplica  lo  esencial  de  sus  conclusiones  y precisaron  que 
se  referian  a estudiantes  del  3%  o del  1%  superior  de  la  poblacion;  que  en  el  nivel  de  capacidad  media  la  eje- 
cucion  podria  obedecer  a otro  patron.  Hay  autores  que  se  preguntan  como  explicar  la  convergencia  en  las 
puntuaciones  medias  de  los  grupos  generales  mientras  permanecen  pronunciadas  en  el  caso  de  los  superdo- 
tados. Avanzan  dos  explicaciones,  el  metodo  de  construction  de  los  tests  y el  grado  de  dispersion  de  las  medias 
en  cada  genero.  El  meta-analisis  de  Friedman  (1989)  sobre  un  centenar  de  investigaciones  con  muestras 
generales  de  alumnos  de  ensenanza  primaria  y secundaria  concluye  que  la  diferencia  media  entre  los  generos 
en  capacidad  matematica  es  muy  pequena  y ha  decrecido  desde  1974  a 1987,  intervalo  abarcado  por  el 
meta-analisis.  Analisis  de  los  modelos  de  socialization,  expectativas,  opciones  curriculares  o miedo  al  exito 
muestran  que  las  chicas  no  estan  fracasando  en  los  estudios  rientificos.  Simplemente  eligen  mas  otras  opcio- 
nes porque  les  atraen  mas,  exigen  menos  dedication  y son  mas  faciles  de  gerenciar  con  responsabilidades 
femeninas  futuras;  muestran  asimismo  intereses  mas  amplios  que  los  chicos  altamente  dotados  y lo  mate- 
rializan,  por  ejemplo,  eligiendo  cursos  de  matematicas  y de  lengua  en  la  misma  proportion  mientras  los  chi- 
cos eligen  seis  veces  mas  cursos  del  primer  tipo  que  del  segundo.  Por  otra  parte,  las  que  deciden  entrar  en  el 
campo  del  numero,  tendencia  en  aumento,  obtienen  en  el  altos  rendimientos. 
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atribuir  los  efectos  al  programa.  Esbozamos  la  evaluation  de  un  programa  senero,  el 
de  Renzulli,  del  que  no  parece  exista  evaluation  longitudinal  propiamente  dicha. 

4. 1 . Evaluation  del  programa  del  triple  enriquecimiento  de  Renzulli 

El  autor  del  SEM  ( Schoolwide  Enrichment  Model)  concibe  la  superdotation  como  el 
resultado  de  la  convergencia  de  tres  factores:  capacidad  intelectual  superior  a la 
media,  motivation  de  logro  y creatividad.  El  diagnostics  se  materializa  dando  un  peso 
similar  a los  tests  y a las  estimaciones  del  profesorado  y la  intervention  educativa  que 
desarrolla  es  el  enriquecimiento  del  currfculo  en  aula  especial,  con  tres  niveles  de  com- 
plejidad.  En  el  primero  se  trata  de  abrir  el  currfculo  a contenidos  mas  amplios  y esti- 
mulantes;  el  segundo  pone  el  enfasis  en  la  adquicision  de  destrezas  y estrategias  de 
alto  nivel  que  propicien  la  elaboration  de  productos  complejos;  en  el  tercero  se  trata  de 
que  el  alumno  muestre  la  eficacia  del  programa  realizando  productos  propios  o casi 
propios  de  un  profesional  experto  (Renzulli  y Reis,  1991, 1994).  A diferencia  del  SMPY 
es  un  modelo  bien  conocido  en  Espana. 

Las  evaluaciones  provienen  de  escuelas,  niveles,  disenos  y aplicaciones  de  distinta 
duration  y grado  de  control.  Un  resumen  de  los  resultados  puede  ser  que  (Renzulli  y 
Reis,  1991, 1994;  MacSheffrey  y Hoge,  1992):  a)  Su  aplicacion  ejerce  un  efecto  favorable 
en  las  practicas  de  ensenanza  del  profesorado  y contribuye  a mejorar  su  actitud  hacia 
los  mas  capaces;  b)  Mejora  la  motivation  y creatividad  de  los  alumnos  y los  estimula  a 
realizar  productos  mas  sofisticados  y diversificados;  c)  Se  asocia  a cambios  positivos 
en  los  centros  escolares  en  aspectos  relacionados  con  las  practicas  de  ensenanza  y los 
proyectos  de  los  alumnos;  d)  Es  interesante  para  los  alumnos  de  minorfas  etnicas  y con 
dificultades  de  aprendizaje,  segun  algun  estudio. 

5.  EL  AGRUPAMIENTO  POR  CAPACIDAD 

Bajo  este  epfgrafe  se  resumen  resultados  de  estudios  longitudinales  y transversales. 
Este  modelo  puede  aplicarse  con  caracter  fijo  o a tiempo  parcial;  en  el  aula  ordinaria  o 
en  aula  separada;  para  un  materia  o para  todo  el  currfculo  y agrupar  a los  estudiantes 
de  un  mismo  curso  o de  distintos  cursos.  Son  realmente  variantes  del  enriquecimiento 
curricular,  goza  de  tradition  en  la  individualization  de  la  ensenanza  y de  algun  modo 
tiene  mala  prensa  sin  que  la  investigation  mas  rigurosa  respalde  tal  estereotipo. 

De  estudios  de  sfntesis  se  puede  concluir  (Kulick  y Kulick,  1991;  Slavin,  1990; 
Rogers  y Span,  1993)  que:  1)  El  agrupamiento  por  capacidad  a tiempo  completo  no 
produce  ganancias  en  el  rendimiento  medio  de  los  alumnos  medios  y de  capacidad 
baja;  sf  produce  ganancias  sustanciales  en  el  caso  de  los  mas  capaces.  2)  Los  alumnos 
de  secundaria  agrupados  en  programas  de  alta  capacidad  tienen  aspiraciones  acade- 
micas  mas  altas  y es  mas  probable  que  terminen  matriculandose  en  la  universidad. 
Sin  embargo,  es  diffcil  determinar  que  sea  un  efecto  claro  del  agrupamiento.  La 
investigation  tampoco  ha  sido  capaz  de  probar  que  los  profesores  de  los  mas  capa- 
ces sean  mejores  profesores  aunque  sf  se  dan  en  ellos  una  serie  de  circunstancias  que 
les  llevan  a creer  en  su  trabajo  y a proyectarlo  en  sus  clases.  3)  El  agrupamiento  par- 
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cial  para  enriquecimiento  del  currfculo  produce  en  los  mas  capaces  ganancias  gene- 
rales  en  el  rendimiento,  pensamiento  crftico  y creatividad.  4)  El  agrupamiento  por 
capacidad  a tiempo  completo  como  practica  habitual  o con  fines  de  enriquecimiento 
dentro  del  aula,  tiene  escaso  efecto  en  el  autoconcepto,  aunque  al  inicio  de  dicho 
agrupamiento  se  produce  un  ligero  descenso  de  la  autoestima  de  los  mas  capaces 
que  vuelve  a reequilibrarse.  5)  El  agrupamiento  por  capacidad  de  los  mas  capaces 
produce  una  moderada  mejora  de  la  actitud  hacia  las  materias  en  los  que  son  agru- 
pados.  6)  Las  distintas  formas  de  agrupamiento  del  modelo  son  beneficiosas  para  los 
mas  capaces,  no  tanto  por  el  agrupamiento  en  sf  como  por  lo  que  transcurre  en  el 
seno  del  grupo4. 

6.  A MODO  DE  VALORACION 

Senalar  en  primer  lugar,  que  la  vision  presentada  pretende  sensibilizar  sobre  un 
tema  olvidado  en  nuestro  pais  y que  las  condiciones  sociales  y legislativas  han  pues- 
to  sobre  el  tapete.  Los  datos  aportados  dan  una  vision  objetiva  propia  de  la  investi- 
gation y deben  tener  peso  en  las  decisiones  de  polftica  educativa  y practica  escolar, 
pero  no  deben  ser  los  unicos.  Tienen  limitaciones.  Por  otra  parte,  educar  a la  persona 
es  pensar  en  la  distancia  corta  y en  el  largo  plazo;  en  el  yo,  en  el  nosotros  y en  su 
corresponsabilidad.  Sin  embargo,  olvidarlos  a su  suerte  y no  formalizar  su  educa- 
tion en  el  marco  de  la  escuela  publica  dentro  de  la  atencion  a la  diversidad,  es  ir  con- 
tra la  igualdad  de  oportunidades,  apostar  por  una  mediocridad  y en  el  extremo  un 
fracaso  que  no  merecen  y renunciar  a una  educacion  para  la  excelencia  de  cada 
alumno.  La  escuela  sin  adjetivos  debe  diferenciar  parcialmente  su  educacion. 
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«Evaluation  is  the  tool  of  defensibility. 
Where  this  tool  is  used  skillfully,  programs 
for  the  gifted  will  survive»  (Seeley,  1986) 


RESUMEN 

Este  trabajo  parte  de  la  premisa  de  que  es  necesaria  una  educacion  diferencia  para  los  alum- 
nos  de  alta  capacidad,  y por  tanto  el  desarrollo  de  programas  que  atiendan  a las  necesidades 
peculiares  de  estas  personas.  La  investigacion,  principalmente  llevada  a cabo  en  pai'ses  de  habla 
inglesa,  ha  venido  mostrando  evidencias  abundantisimas  de  esta  necesidad. 

Los  programas  se  enfrentan  con  una  problemdtica  evaluativa  peculiar,  pues  deben  constan- 
temente  mostrar  que  son  eficaces  para  poder  subsistir.  La  evaluacion  es  la  garanti'a  para  la 
defensa  de  estos  programas  alia  donde  existen. 

Algunos  de  los  problemas  metodoldgicos  con  los  que  la  evaluacion  se  enfrenta  han  sido  obje- 
to  de  consider acidn.  De  modo  particular  los  relacionados  con  la  medida  y el  disefio.  Problemas, 
por  otra  parte,  que  si  bien  tienen  una  peculiaridad  propia  en  los  programas  dirigidos  a una 
poblacion  particular,  comparten  muchos  aspectos  con  la  problemdtica  metodologica  general.  La 
metodologia  de  la  evaluacion,  aunque  presenta  problemas  que  hemos  tratado  tambien  es  cierto 
que  ofrece  pautas  razonablemente  adecuadas  para  valor ar  la  eficacia  de  tales  programas. 

ABSTRACT 

This  papar  is  based  on  the  premise  that  highly  gifted  students  require  a differentiated  educa- 
tion and  thus  the  need  for  the  development  of  programs  geared  toward  the  special  needs  of  these 
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students.  Research  carried  out  principally  in  English-speaking  countries  offers  abundant 
evidence  in  this  regard. 

Programmes  are  faced  with  a peculiar  set  of  evaluative  problems  since,  if  they  are  to  be  con- 
tinued, their  effectiveness  must  be  constantly  demonstrated.  Ongoing  evaluation  is  a guarantee 
of  the  continued  support  of  such  programmes,  wherever  they  might  be  in  use. 

Some  of  the  methodological  problems  encountered  in  evaluation  are  considered,  particularly 
those  related  to  measurement  and  design.  On  the  other  hand,  although  problems  of  a unique 
kind  are  frequently  found  in  those  programmes  designed  for  a specific  population,  they  inva- 
riably have  many  characteristics  in  common  with  the  general  methodological  issues.  Although 
the  methodology  of  evaluation  presents  problems  which  we  have  analysed,  it  is  also  true  that  it 
offers  reasonably  adequate  guidelines  for  evaluating  the  effectiveness  of  such  programmes. 

I.  INTRODUCCION 

Antes  de  entrar  en  la  consideration  de  los  principales  problemas  metodologicos 
que  presenta  la  evaluation  de  programas  dirigidos  a personas  de  alta  capacidad,  qui- 
siera  plantear  algunas  cuestiones  previas,  comenzando  por  la  necesidad  misma  de 
dichos  programas.  ^Son  realmente  necesarios  los  programas  especificos  para  estos 
alumnos?  ^Por  que? 

La  LOGSE  plantea  en  sus  articulos  36  y 37  la  importancia  de  atender  a las  necesida- 
des  educativas  permanentes  o transitorias  derivadas  de  las  peculiaridades  de  los 
aprendices.  El  decreto  696/1995  plantea,  por  primera  vez  en  la  historia  reciente  de  la 
legislation  educativa,  que  existen  necesidades  educativas  espedales  asociadas  a sobre- 
dotacion  intelectual  y regula  las  condiciones  y procedimientos  para  flexibilizar  (aunque 
timidamente)  el  sistema  educativo.  Por  otra  parte,  uno  de  los  pilares  de  la  LOGSE  es  la 
atencion  a la  diversidad,  que  lamentablemente  se  ha  entendido  con  demasiada  frecuen- 
cia  como  atencion  a los  deficit  de  los  escolares,  pero  nunca  a los  superavits.  Cuando  se 
analiza  todo  el  entramado  legislative  actual  de  nuestro  pais  para  la  ensenanza  no  uni- 
versitaria  y los  principios  y caracteristicas  psicopedagogicas  que  lo  animan,  es  facil  ver 
que  se  adapta,  o pretende  hacerlo,  a las  necesidades  de  todos  los  escolares.  Sobre  este 
particular  hemos  escrito  extensamente  en  otro  lugar  (Cfr.  Tourdn  y cols.  1998). 

Sin  embargo,  no  son  pocos  los  mitos  que  planean  sobre  los  alumnos  superdotados 
(de  alta  capacidad),  que  actuan  como  freno  para  su  adecuada  atencion  en  la  escuela. 
Mitos  y estereotipos  que  estan  bien  lejos  de  la  realidad  y necesidades  de  estos  alumnos 
(Cfr.  Tourdn  y Reyero,  2000).  La  superdotacion  es  un  constructo  complejo,  multidi- 
mensional que  ha  de  verse  como  una  capacidad  potencial  que  necesita  de  unas  deter- 
minadas  condiciones  para  que  pueda  desarrollarse  de  modo  satisfactorio  (Gagne, 
1993).  Estan  lejos  los  tiempos  en  los  que  superdotacion  se  veia  como  algo  fijo,  dado  e 
inimitable,  para  dar  paso  a un  claro  cambio  de  paradigma  en  el  que  la  superdotacion 
solo  llegara  a desarrollarse  si  se  dan  las  condiciones  adecuadas  (Reyero  y Tourdn, 
2000).  Como  senalan  con  acierto  Treffinger  y Feldhusen  (1996)  «los  talentos  emergen  y 
crecen  evolutivamente,  y para  algunos  no  llegan  a emerger  porque  no  se  produce  una 
adecuada  estimulacion  en  la  escuela  y la  familia.  Es  imperativo  que  todos  los  que  tra- 
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bajan  con  jovenes  vean  los  talentos  y potencialidades  como  algo  educable  y emergen- 
te,  y no  como  algo  fijo  e inmutable». 

La  identification  de  los  alumnos  de  alta  capacidad,  paso  previo  para  poder  plantear 
estrategias  educativas  de  intervention  (programas),  se  hace  precisa  en  el  momento  en 
el  que  los  programas  educativos  regulares  de  la  escuela  no  pueden  responder  a las 
demandas  educativas  de  estos  alumnos,  poniendo  en  riesgo  su  desarrollo  tanto  cogni- 
tivo  como  afectivo.  Siguiendo  a Feldhusen  (1986),  hay  tres  premisas  basicas  que  deben 
ser  tenidas  en  cuenta  para  entender  la  necesidad  de  una  educacion  diferenciada  para 
los  alumnos  mas  capaces,  en  realidad  para  todos  los  alumnos:  a)  cada  estudiante  tiene 
derecho  a una  educacion  que  sea  adecuada  a sus  especiales  caracteristicas  y necesi- 
dades;  b)  todo  estudiante  tiene  derecho  a unos  servicios  educativos  que  le  ayuden  a 
desarrollar  sus  habilidades  potenciales  al  mas  alto  nivel  y c)  debemos  desarrollar  los 
talentos  de  los  jovenes  de  modo  que  sirvan  a las  necesidades  de  su  propia  nacion. 

En  suma  que,  a mi  juicio,  esta  fuera  de  duda  que  la  escuela  y los  programas  regulares 
que  en  ella  se  desarrollan,  orientados  al  alumno  medio,  no  pueden  dar  respuesta  ade- 
cuada a las  demandas  psicoeducativas  de  los  alumnos  mas  capaces,  por  lo  que  es  preci- 
so  tender  a un  sistema  educativo  mas  adaptativo  que  favorezca  el  desarrollo  del 
potential  de  cada  escolar.  Existen  excelentes  trabajos  en  los  que  se  analizan  con  profu- 
sion las  caracteristicas  y printipios  que  deben  seguirse  en  el  desarrollo  de  programas 
diferentiados  para  los  alumnos  de  alta  capacidad,  y que  aunque  este  no  es  el  lugar  para 
tratar  (Cfr.  Brennam,  1988;  Kaplan,  1979;  Maker,  1982,  1995;  Renzulli,  1995;  Van  Tassel- 
Baska,  1984,  por  citar  solo  unos  pocos),  podemos  brevemente  apuntar  que  deben  seguir, 
de  acuerdo  con  el  Leadership  Training  Institute  (ver  Maker,  1986)  siete  grandes  printipios: 

a)  El  contenido  debe  estar  enfocado  y organizado  de  modo  que  permita  un  estudio 
mas  elaborado,  complejo  y profundo  de  las  principales  ideas,  problemas  y 
temas  que  integran  el  conocimiento  en  los  diversos  sistemas  de  pensamiento. 

b)  Debe  permitir  el  desarrollo  y la  aplicacion  de  destrezas  de  pensamiento  produc- 
tive que  permitan  a los  estudiantes  reconceptualizar  el  conocimiento  existente  o 
producir  otro  nuevo. 

c)  Debe  permitir  explorar  los  cambios  constantes  del  conocimiento  y la  informa- 
tion y desarrollar  la  actitud  de  que  es  valioso  seguir  tales  cambios  en  un  mundo 
abierto. 

d)  Debe  estimular  el  uso,  la  selection  y exposition  de  recursos  especializados. 

e)  Debe  promover  la  iniciativa  personal  y el  aprendizaje  autodirijido. 

f)  Debe  fomentar  la  comprension  de  uno  mismo  y de  nuestras  relaciones  con  las 
personas,  la  sociedad,  las  instituciones,  la  naturaleza  y la  cultura. 

g)  La  evaluation  de  los  programas  para  alumnos  de  alta  capacidad  debe,  de  acuer- 
do con  los  printipios  anteriores,  centrarse  en  destrezas  de  pensamiento  de  alto 
nivel,  creatividad  y excelencia  en  el  rendimiento  y los  productos. 

Asi  pues,  el  analisis  de  la  investigation  tanto  teorica  como  experimental,  nos  per- 
mite  senalar,  sin  muchas  dudas,  que  los  movimientos  en  contra  de  la  superdotacion 
que  se  aprecian  en  algunos  pafses,  el  nuestro  no  es  una  exception,  son  mas  producto 
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de  posiciones  ideologicas  concretas  que  de  argumentos  educativos  y resultados  de 
investigation  solidos  que  los  avalen. 

2.  LA  E VALUAC 1 6 N DE  PROGRAM  AS  PARAALUMNOS  DE  ALTA  CAPACIDAD 

Como  senala  Seeley  (1986)  «mientras  es  cierto  que  los  programas  para  los  superdo- 
tados  tienen  algunas  caracterxsticas  xinicas,  no  hay  necesidad  de  crear  enfoques  com- 
pletamente  nuevos  para  evaluarlos  (...).  Hay  excelentes  practicas  de  evaluacion 
educativa  que  son  perfectamente  adecuadas  para  los  programas  de  superdotados.  No 
hace  falta  reinventar  la  rueda.  Lo  que  no  significa  que  las  caracteristicas  especiales  de 
estos  programas  deban  ignorarse»  (p.  265).  La  evaluacion  de  los  programas  para  alum- 
nos  de  alta  capacidad  puede  llevarse  a cabo  desde  los  enfoques  denominados  tradicio- 
nales,  vinculados  con  concepciones  positivistas  de  la  realidad,  de  la  ciencia  y de  la 
evaluacion,  criticados  por  muchos  como  inservibles  para  captar  la  verdadera  esencia 
de  la  action  educativa,  o desde  concepciones  que  se  agrupan  bajo  la  rubrica  postpositi- 
vista,  son  los  modelos  naturalistas  (Cfr.  Borland,  1990;  Lincoln  y Guba,  1985),  que  con- 
ciben  la  realidad  como  algo  construido,  multiple,  donde  lo  observado  se  ve  en 
interaction  con  el  observador;  donde  la  generalization  se  ve  como  algo  imposible  y 
quiza  indeseable;  y donde  el  proceso  mismo  no  pretende  ser  objetivo  ni  libre  la 
influencia  de  los  valores.  Los  disenos  fijos  dan  paso  a los  emergentes,  los  instrumentos 
de  medida  rigurosamente  validados  dejan  su  lugar  al  investigador  como  principal  ins- 
trumento  de  recogida  de  datos.  Lo  nomotetico  es  sustituido  por  lo  idiografico,  donde 
los  datos  no  son  descubiertos,  como  si  estuviesen  ahx  fuera,  sino  que  son  literalmente 
creados  (Guba  y Lincoln,  1989).  Son  modelos  que  al  oponerse  a los  de  corte  positivo  se 
denominan  alternatives  (Cfr.  Dinham  y Udall,  1986;  Callahan  y Cadwell,  1986).  Pero 
no  es  el  proposito  de  este  trabajo  entrar  en  el  analisis  de  los  modelos  posibles  para  eva- 
luar  programas  para  alumnos  de  alta  capacidad,  sino  analizar  algunos  de  los  proble- 
mas  metodologicos  que  en  dicha  evaluacion  se  plantean.  La  discusion  sobre  los 
enfoques  evaluativos  ya  ha  sido  objeto  de  tratamiento  en  otro  lugar  de  este  nximero 
monografico. 

Sx  que  es  preciso  decir  que  el  analisis  de  los  problemas  metodologicos  que  mas  ade- 
lante  vamos  a realizar  se  alinea  con  una  optica  cuantitativa  de  la  evaluacion,  compati- 
ble por  otra  parte  con  enfoques  y modelos  muy  diversos. 

La  evaluacion  de  programas  se  ha  visto  vinculada  al  movimiento  de  rendition  de 
cuentas  nacido  en  los  EEUU  a mediados  del  siglo  pasado  (para  una  vision  comprensiva 
general  puede  consultarse  Tejedor,  1994;  Garcxa  Ramos,  1992)  y si  bien  esta  es  una  razona- 
ble  fxmeion,  no  siempre  es  la  que  mayor  impacto  positivo  tiene  en  la  mejora  de  los  mis- 
mos.  Sin  embargo,  por  los  problemas  metodologicos  que  analizaxemos  enseguida,  y por 
otras  razones,  la  evaluation  ha  sido  con  frecuencia  vista  como  una  amenaza  de  supresion 
de  programas  especiales,  que  se  ven  exigidos  a mostrar  xmos  resultados  y una  eficacia 
que  rara  vez  se  pide  para  los  programas  regulares.  La  evaluacion  se  reduce  a xm  caracter 
sumativo  que,  si  bien  es  importante,  es  netamente  incompleto.  Como  senala  Borland 
(1997,  p.  255),  «la  mejora  de  los  programas  es  uno  de  los  resultados  mas  importantes  de  la 
evaluacion  y puede  ser  una  de  las  razones  mas  poderosas  para  llevar  a cabo  el  proceso. 
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(...)  Dicha  mejora  debe  ser  uno  de  nuestros  imperatives,  de  modo  que  forme  parte  de 
nuestia  conception  general  de  lo  que  deben  ser  los  propositos  de  la  evaluations 

Segun  Renzulli  (1975)  la  evaluation  de  programas  para  los  superdotados  tiene  que 
cumplir  cinco  propositos:  a)  Descubrir  si  los  objetivos  se  han  cumplido  o no  y en  que 
grado;  b)  descubrir  consecuencias  inesperadas  y no  planeadas  derivadas  de  las  practi- 
cas  del  programa;  c)  determinar  las  polfticas  subyacentes  y las  actividades  relaciona- 
das  que  contribuyen  al  exito  o fracaso  en  areas  particulars;  d)  ofrecer  un  continuo 
feedback  durante  el  proceso  en  etapas  intermedias  a lo  largo  del  programa  y d)  sugerir 
cursos  de  action  alternatives,  reales  e ideales,  para  modificar  el  programa. 

Callahan  (1993)  refiriendose  a la  importancia  de  la  evaluation  de  los  programas 
senala  seis  aspectos  clave  que  deben  tenerse  en  cuenta  si  pretendemos  tener  procedi- 
mientos  de  intervention  defendibles:  a)  la  evaluation  debe  entenderse  como  una  parte 
integrante  del  diseno  y planificacion  del  programa;  b)  los  problemas  que  surgen  en  la 
evaluation  de  los  programas  no  pueden  ser  causa  que  justifique  los  fallos  de  la  evalua- 
tion; c)  la  evaluation  como  proceso  esta  cambiando  tanto  en  sus  propositos  como  en 
su  amplitud;  d)  la  evaluation  no  supone  solo  determinar  el  valor  de  un  programa;  e) 
los  nuevos  desarrollos  de  la  evaluation  pueden  ser  de  utilidad  en  la  evaluation  de  los 
programas  para  superdotados  y f)  la  evaluation  acaba  siendo  lo  que  se  quiere  que  sea. 

No  es  posible,  sin  embargo  llevar  a cabo  una  adecuada  evaluation  de  un  programa 
sin  una  adecuada  description  del  mismo,  sin  un  adecuado  establecimiento  de  los 
estandares,  de  los  puntos  de  referenda  con  los  que  comparar,  sin  un  plan  operativo, 
sin  una  adecuada  base  para  atribuir  los  resultados,  sin  una  prevision  de  como  actuar 
ante  los  posibles  problemas  que  puedan  surgir. 

No  obstante,  la  literatura  especializada  en  este  campo  abunda  en  una  serie  de  pro- 
blemas y resistencias  con  las  que  se  encuentra  la  evaluation  de  programas.  Las  princi- 
pals dificultades  se  pueden  agrupar  en  torno  a nueve  aspectos  que  hemos 
reelaborado,  siguiendo  a Callahan  (1993),  del  siguiente  modo: 

1)  La  evaluation  se  ve  como  una  amenaza 

2)  Con  frecuencia  los  programas  estan  mal  definidos  y descritos 

3)  Existen  dificultades  para  determinar  cual  es  'el  programa'  para  poder  aislar  sus 
efectos 

4)  No  siempre  se  formulan  las  preguntas  de  evaluation  apropiadas  ni  se  estable- 
cen  adecuadamente  las  prioridades  en  la  evaluation 

5)  La  comparacion  de  los  efectos  del  programa  con  determinados  estandares  y el 
establecimiento  de  los  grupos  de  control  es  diffcil 

6)  El  profesor  como  programa 

7)  Falta  de  atencion  a las  posibles  interacciones  entre  aptitud  y tratamiento 

8)  Poca  claridad  en  el  establecimiento  de  los  indicadores  de  exito  y problemas  en 
la  instrumentation 

9)  La  utilization  de  la  evaluation  (sumativa,  formativa,  administrativa,  etc). 

Vamos  a analizar  ahora  algunos  de  los  principales  problemas  de  caracter  meto- 
dologico  que  surgen  en  la  evaluation  de  estos  programas,  principalmente  desde 
una  optica  cuantitativa. 
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3.  ALGUNOS  PROBLEMAS  METODOLOGICOS  EN  LA  EVALUACION  DE 

PROGRAMAS  PARAALUMNOS  DE  ALTA  CAPACIDAD 

Dadas  las  limitaciones  de  espacio  disponible,  vamos  a seleccionar  solo  algunos  de 
los  problemas  que  consideramos  mas  importantes.  Los  vamos  a organizar  de  acuerdo 
a cuatro  apartados:  a)  problemas  derivados  de  la  concepcion  de  superdotacion;  b)  las 
metas  y objetivos  del  programa;  c)  problemas  de  medida  y d)  problemas  con  los  dise- 
nos  de  evaluacion.  Trataremos  los  dos  primeros  con  mas  brevedad  y nos  extendere- 
mos  algo  mas  en  los  dos  ultimos  por  tener  una  relacion  mas  directa  con  las  cuestiones 
estrictamente  metodologicas. 

a)  La  concepcion  de  superdotacion 

Son  multiples  las  concepciones  tanto  impKcitas  como  explicitas  que  se  han  pro- 
puesto  sobre  la  superdotacion  (Cfr.  Sternberg  y Davidson,  1986),  algunas  de  las  cuales 
pueden  verse  desarrolladas  en  Touron  y cols.  (1998);  asi  mismo,  en  los  ultimos  anos  se 
ha  venido  produciendo  una  clara  modification  del  paradigma  clasico  hacia  un  nuevo 
paradigma  mas  centrado  en  la  identification  y desarrollo  del  talento  (un  tratamiento 
extenso  puede  verse  en  Reyero  y Touron,  2000).  Pero  estas  diversas  concepciones  no 
son  un  problema  per  se  respecto  a la  evaluacion  de  los  programas,  ya  que  como  senala 
Carter  (1991),  los  evaluadores  pueden  operacionalizar  un  determinado  concepto  de 
superdotacion  y analizar  los  resultados  del  programa  en  funcion  de  lo  que  se  espera  a 
partir  del  concepto  adoptado.  Lo  que  realmente  constituye  un  problema  es  que  los  res- 
ponsables  del  programa  ( stakeholders ) pueden  tener  diferentes  concepciones  de  la 
superdotacion  y esperar  resultados  diversos  del  programa,  con  lo  cual  es  dificil  llegar 
a una  evaluacion  de  la  bondad  del  mismo. 

«Los  evaluadores  deben  cerciorarse  de  que  los  stakeholders  estan  trabajando  desde 
el  mismo  marco  de  referencia  que  los  evaluadores,  tienen  las  mismas  expectativas  y 
estan  de  acuerdo  respecto  al  tipo  de  estudiantes  a los  que  el  programa  esta  sirviendo» 
(Carter,  1991,  p.  249),  y por  tanto,  hay  un  marco  comun  de  referencia  y un  acuerdo  pre- 
vio  sobre  los  resultados  que  se  esperan  como  efecto  del  desarrollo  del  programa.  No  es 
necesario  que  el  evaluador  y los  responsables  del  programa  coincidan  en  el  concepto 
de  superdotacion,  lo  que  es  preciso  es  que  se  pongan  de  acuerdo  en  el  concepto  que  va 
a operar  en  un  programa  dado  y de  que  modo  se  operacionalizara.  A partir  de  ahx  sera 
mas  facil  ponerse  de  acuerdo  en  las  metas  y objetivos  en  los  que  debe  centrarse  la  eva- 
luacion. 

b)  Las  metas  y objetivos 

Este  es  otro  problema  potencial  de  la  evaluacion.  No  es  infrecuente  que  las  metas  y 
objetivos  esten  formulados  de  una  manera  vaga  o ambigua.  Y como  senala  Borland 
(1997,  p.  257)  «las  metas  y objetivos  que  no  especifican  claramente  que  se  espera  que 
los  alumnos  ganen  como  resultado  de  la  existencia  del  programa  son  de  escasa  utili- 
dad  en  la  evaluations  Algunos  autores  recomiendan  que  la  evaluacion  se  centre  en 
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grandes  metas  como:  el  incremento  de  la  creatividad,  la  capacidad  de  resolution  de 
problemas,  el  fomento  de  estrategias  de  pensamiento,  etc.  Pero  hay  otro  tipo  de  resul- 
tados  mas  concretos  y medibles  que  suelen  venir  reflejados  en  los  objetivos  de  tipo 
curricular  que  el  programa  persigue.  Algunos  autores  recomiendan  que  la  evaluation 
se  centre  en  las  primeras  y abogan  por  el  desarrollo  de  disenos  de  evaluation  que  per- 
mitan  hacerlo  (Cfr.  Gallagher,  1979),  no  obstante  es  facil  ver  la  complication  que  entra- 
na  el  determinar  cuales  seran  los  indicadores  que  se  consideraran  validos  para  metas 
tan  genericas.  Por  otro  lado  se  puede  producir  un  efecto  negativo  evidente  y es  que  al 
existir  una  relativa  distancia  entre  Jos  indicadores  y las  metas,  la  information  que  se 
obtenga  de  la  evaluation  puede  ser  poco  util  para  mejorar  el  programa,  o bien  que 
no  se  pueda  llevar  a cabo  una  atribucion  razonable  entre  el  programa  y el  efecto  pro- 
ducido. 

Por  ello,  y sin  perder  de  vista  la  importancia  de  las  grandes  metas,  al  servicio  de  las 
cuales  deben  estar  los  objetivos  mas  espetificos  (metas  intermedias),  la  evaluation 
debe  centrarse  en  buena  parte  sobre  estos.  Los  resultados  espetificos  podran  ser  utili- 
zados  con  caracter  formativo  y podran  emplearse  en  la  mejora  y modification  del  pro- 
grama. La  solution  optima  es  llegar  a un  adecuado  compromiso  entre  la  evaluation  de 
las  grandes  metas  y los  objetivos  curriculares  espetificos  que  se  supone  tienden  a ellas. 

c)  Problemas  de  medida 

La  evaluation  de  programas,  particularmente  desde  un  enfoque  cuantitativo  entra- 
na  serios  problemas  relacionados  con  la  medicion,  no  siempre  relacionada  con  el  uso 
tests,  aunque  estos  son  los  que  presentan  los  problemas  mas  complejos,  tanto  si  habla- 
mos  de  la  medicion  de  los  resultados  como  de  variables  de  entrada,  de  contexto  o de 
proceso.  Vamos  a apuntar  algunos  de  estos  problemas. 

Quiza  el  primero  de  ellos  sea  la  falta  de  instrumentos  adecuados  de  la  que  muchos 
autores  se  hacen  eco  (Cfr.  Borland,  1997).  Este  problema  bastante  generalizado  en 
muchos  contextos  se  manifiesta  de  modo  particularmente  grave  en  el  nuestro,  donde 
es  dificil  encontrar  procesos  sistematicos  de  desarrollo  y validation  de  instrumentos, 
asi  como  de  actualization  de  los  existentes  (Cfr.  Touron,  Reparaz  y Peralta,  1999). 

Siguiendo  a Feldhusen  y Jarwan  (1993),  podemos  senalar  entre  los  criterios  clasicos 
para  la  adecuada  election  de  los  instrumentos:  a)  relevancia  del  test,  b)  fiabilidad,  c) 
validez,  d)  baremacion,  e)  sesgos  posibles  y f)  efecto  de  techo  (para  un  tratamiento  de 
algunos  de  los  senalados  puede  consul tarse  Martinez  Arias,  1995  y Muniz,  1996.  Y 
naturalmente  es  obligada  la  lectura  de  los  Standards  for  Educational  and  Psychological 
Testing,  1999). 

Aunque  casi  todos  ellos  son  muy  obvios  merecen  un  comentario  en  esta  panorami- 
ca  general,  ya  que  si  bien  pueden  considerarse  problemas  generates  de  cualquier  tipo 
de  evaluation,  los  problemas  son  mayores  cuando  hablamos  de  una  poblacion  tan 
especifica  como  la  de  los  alumnos  de  alta  capacidad,  para  la  que  la  ausencia  de  instru- 
mentos adecuados  es  casi  general. 

La  relevancia  del  test  se  refiere  a la  adecuacion  entre  el  proposito  para  el  cual  ha  sido 
disenado  y el  uso  que  se  pretende  hacer  de  el.  Por  ejemplo,  si  pretendemos  seleccionar 
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los  candidatos  mas  adecuados  para  un  programa  de  desarrollo  de  la  capacidad  mate- 
matica,  un  test  de  inteligencia  general  no  parece  lo  mas  adecuado;  del  mismo  modo  un 
test  de  habilidad  matematica  tiene  poco  sentido  — aunque  sea  tecnicamente  correcto — 
si  se  pretende  seleccionar  sujetos  para  un  programa  de  desarrollo  de  la  creatividad  en 
artes  plasticas.  Por  tanto,  al  hablar  de  relevancia  estamos  refiriendonos  a la  adecuacion 
del  test  para  el  proposito  especifico  para  el  que  se  va  a utilizar.  Naturalmente  este  pro- 
blema  esta  relacionado  con  la  decision  que  se  tome  de  evaluar  resultados  generales 
(metas)  o especificos  (objetivos)  en  un  determinado  programa.  Cierto  es  que  se  hace 
preciso  no  perder  de  vista  otros  procedimientos  para  abordar  la  estimation  de  los  efec- 
tos  de  los  programas  sin  el  uso  de  test.  Seria  el  caso  de  utilizar  otras  modalidades  de 
evaluacion  ( assessment ) como  el  consensual  assessment  utilizado  para  el  estudio  de  la 
creatividad,  por  citar  solo  una  alternativa  (Cfr.  Amabile,  1983). 

Lafiabilidad  no  precisa  demasiados  comentarios.  Se  trata  de  una  condi cion  esencial, 
aunque  no  suficiente,  para  que  un  test  pueda  ser  empleado  en  un  proceso  de  evalua- 
cion. Es  importante  valorar  la  informacion  disponible  sobre  la  fiabilidad  de  la  prueba 
que  pensemos  utilizar:  sobre  que  muestras  se  ha  obtenido,  con  que  procedimientos, 
hace  cuanto  tiempo,  etc.  Asimismo,  relacionado  con  la  fiabilidad,  sera  importante 
hacer  uso  del  error  de  medida,  ya  que  permitira  realizar  juicios  mas  precisos  sobre  las 
puntuaciones  individuales,  el  establecimiento  de  intervalos  de  confianza,  puntos  de 
corte,  etc.  Estos  datos  son  importantes  a la  hora  de  tomar  decisiones. 

Ahora  bien,  todo  lo  senalado  se  refiere  a una  perspectiva  de  la  medida  desde  la 
optica  de  la  teoria  clasica,  cuyas  limitaciones  son  suficientes  como  para  que  se  conside- 
ren  otros  abordajes  mas  acordes  con  los  desarrollos  modemos  de  la  misma.  Nos  referi- 
mos  a la  TRI  (Teoria  de  Respuesta  al  Item)  que  permite  superar  muchas  de  las 
limitaciones  de  la  teoria  clasica.  Lamentablemente  no  es  posible  extenderse  en  este 
punto  ahora,  pero  baste  senalar  que  la  TRI  deberia  tenerse  mas  en  cuenta  en  los  proce- 
sos  de  evaluacion  (Cfr.  Orden  y cols.,  1998;  Touron  y Gaviria,  2000a  y b),  toda  vez  que 
nos  permite  aplicar  modelos  de  tests  adaptativos  computerizados  (o  no)  por  ejemplo, 
de  modo  que  se  maximiza  la  informacion  que  se  puede  obtener  de  un  sujeto  con  un 
'gasto'  minimo  de  recursos,  ya  que  los  items  que  se  le  presentan  se  adaptan  a su  com- 
petencia.  Se  evita  asi  que  un  sujeto  se  vea  obligado  a responder  items  demasiado  faci- 
les  o dificiles  para  el,  lo  que  en  el  caso  que  nos  ocupa  es  crucial.  Este  tipo  de  estrategias 
maximizan  la  informacion  que  se  puede  obtener  y ofrecen  un  error  especifico  para 
cada  puntuacion  estimada,  lo  cual  es  bastante  mas  plausible  que  calcular  un  error 
comun  para  todas  las  puntuaciones  como  se  hace  en  la  teoria  clasica. 

Asi  pues,  y dado  que  el  tratamiento  de  este  tema  esta  fuera  de  las  posibilidades  de 
este  breve  trabajo,  se  puede  senalar  que,  ademas  de  las  aportaciones  de  tipo  tecnico  que 
ofrecera  la  TRI  a la  hora  de  construir  tests  y aplicarlos  a situaciones  concretas  de  eva- 
luacion, por  ejemplo,  «su  gran  contribution  se  centra  en  la  posibilidad  de  obtener 
mediciones  invariantes  respecto  de  los  instrumentos  utilizados  y de  los  sujetos  implica- 
dos.  En  la  TCT  el  resultado  de  la  medicion  de  una  variable  depende  del  test  utilizado 
(...).  En  la  Teoria  Clasica  la  medicion  de  una  variable  es  inseparable  del  instrumento  uti- 
lizado para  medirla  y ello  constituye  una  seria  limitation,  pues  inevitablemente  se  aca- 
bara  definiendo  opera tivamente  la  variable  por  el  instrumento  con  que  se  mide  (...). 
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Ademas,  las  propiedades  del  instrumento  de  medida,  esto  es,  de  los  items  y,  por  tanto, 
del  test,  estan  en  funcion  de  los  sujetos  a los  que  se  aplican  (...).  El  acercamiento  clasico 
se  encontraba  encerrado  en  esa  incongruencia  teorica:  la  medicion  depende  del  instru- 
mento utilizado  y las  propiedades  de  estos  estan  en  funcion  de  los  objetos  medidos,  de 
los  sujetos.  El  objetivo  central  de  la  TRI  sera  solucionar  este  problema»  (Muniz,  1990). 

La  validez  es  la  condicio  sine  qua  non.  Un  modo  clasico  sencillo  de  referirse  a la  vali- 
dez  es  decir  que  se  trata  de  una  apreciacion  del  grado  en  el  que  un  instrumento  mide 
aquello  que  pretende.  Mas  precisamente  habria  que  decir  que  la  validez  no  es  tanto 
del  instrumento  aunque  esta  implicado,  — naturalmente — cuanto  de  las  inferences 
que  pretendamos  hacer  a partir  de  las  puntuaciones  del  mismo.  Es  conocido  que  clasi- 
camente  hemos  distinguido  entre  diversos  tipos  de  validez:  de  contenido,  concurrente, 
predictiva,  convergente,  discriminante,  etc.,  pero  la  concepcion  mas  inclusiva  de  todas 
ellas  es  la  validez  de  constructo,  que  supone  una  insercion  de  la  medida  en  la  teorfa, 
de  modo  que  medir  se  convierte  en  una  forma  de  validar  una  teorfa,  la  estructura  teo- 
rica  del  fenomeno  medido.  Pero  como  recomiendan  los  Standards  de  1999,  citados  mas 
arriba,  es  mas  correcto  hablar  de  diversos  tipos  o fuentes  de  evidencia  sobre  la  validez 
que  de  diferentes  tipos  de  validez.  «La  validez  es  un  concepto  unitario.  Es  el  grado  en 
el  que  la  evidencia  acumulada  apoya  las  interpretaciones  pretendidas  para  el  uso  del 
test.  Como  los  Standards  de  1985  esta  edicion  se  refiere  a tipos  de  evidencias  respecto  a 
la  validez,  mas  que  a diferentes  tipos  de  validez»  ( Standards , 1999). 

Sin  entrar  en  mayores  tecnicismos  ahora,  podemos  senalar  que  se  trata  aquf,  para 
los  propositos  que  perseguimos,  de  responder  a dos  preguntas:  a)  <;que  constructo 
queremos  medir?,  b)  ^que  evidencias  muestra  este  instrumento  de  ser  una  medida 
adecuada  de  este  constructo?  No  parece  necesario  insistir  en  la  importancia  de  esta 
caracterfstica,  sin  la  cual  todas  las  demas  son  superfluas  (Cfr.  APA,  1986;  Cronbach, 
1970;  Cronbach  y Meehl,  1955;  Touron,  1989). 

Los  baremos  son  una  pieza  de  information  imprescindible  para  poder  interpretar  las 
puntuaciones  de  un  determinado  test.  Para  determinar  el  grado  de  excepcionalidad  y 
rareza  (Cfr.  Sternberg,  1993;  Sternberg  y Zhang,  1995)  de  las  competencias  o talentos  de 
una  determinada  persona  es  preciso  compararla  con  sujetos  comunes  en  alguna  carac- 
terfstica, generalmente  la  edad,  el  nivel  escolar,  etc.  Pues  bien,  los  baremos  de  un  test  lo 
que  reflejan  es  el  comportamiento  tfpico  de  un  grupo  concreto  en  el  test,  es  decir,  su 
nivel  de  ejecucion.  Asf  pues,  no  sera  posible  decir  cuan  excelente  o rara  es  una  determi- 
nada capacidad  sin  conocer  que  es  lo  esperable  en  sujetos  de  esa  edad,  por  ejemplo. 

Su  importancia  es  capital,  ya  que  sin  baremos  adecuados  no  podremos,  desde  una 
perspectiva  normativa,  valorar  el  grado  o nivel  de  ejecucion  de  un  sujeto  en  la  prueba 
correspondiente  y por  tanto  sera  diffcil,  sino  imposible  estimar  los  efectos  del  progra- 
ms que  queramos  evaluar.  Un  ejemplo  patente  de  este  problema,  y sus  implicaciones 
en  el  proceso  de  identification  (extensible  a la  evaluacion  de  programas)  puede  verse 
en  Touron,  Reparaz  y Peralta,  (1999).  Por  eso  abordar  procesos  de  validacion  rigurosos 
que  aporten  baremos  actualizados  obtenidos  sobre  muestras  actuales  y suficientemen- 
te  representativas  es  esencial  (pueden  consultarse  a este  respecto  los  trabajos  que  veni- 
mos  realizando  de  baremacion  del  SCAT  en  Navarra,  por  ejemplo,  Touron  y cols., 
2000;  Touron,  2000). 
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Los  efectos  de  sesgo  son  otro  de  los  criterios  a tener  en  cuenta  a la  hora  de  seleccionar 
un  instrumento  de  medida.  Los  sesgos  se  refieren,  entre  otras  cosas,  al  hecho  de  que 
las  puntuaciones  obtenidas  por  los  sujetos  pueden  ser  inferiores  o,  en  general,  verse 
alteradas,  por  razon  de  su  sexo,  raza,  situation  cultural,  religion,  etc.,  lo  que  llevarfa  a 
una  inadecuada  valoracion  de  los  mismos.  El  sesgo,  como  senalan  Feldhusen  y Jarwan 
(1993),  es  — principalmente — un  problema  de  fiabilidad  del  diagnostico.  La  justicia 
(adecuacion)  del  diagnostico  es  una  cuestion  de  validez.  Por  ejemplo,  serfa  poco  razo- 
nable  someter  a los  alumnos  espanoles  a un  test  de  razonamiento  verbal  en  el  que 
muchos  items  incluyesen  vocabulario  perteneciente  a algun  deporte  tipicamente  nor- 
teamericano,  como  el  beisbol  o el  futbol  americano.  Del  mismo  modo,  sujetos  que 
hayan  vivido  en  el  ambito  rural  extremo  durante  toda  su  vida  tendran  problemas  para 
contestar  a tests  profundamente  impregnados  de  cultura  urbana.  Todos  estos  efectos 
producen  sesgos  que  llevan  a los  sujetos  a obtener  puntuaciones  que  no  reflejan  su 
habilidad  o capacidad  real  en  la  variable  medida.  Por  lo  mismo,  un  test  de  inteligencia 
general  excesivamente  verbalizado  producira  un  sesgo  claro  en  sujetos  deficientemen- 
te  escolarizados  o que  viven  en  un  ambito  culturalmente  deprivado. 

Los  problemas  de  sesgo  se  analizan  modernamente  a partir  del  estudio  del  funcio- 
namiento  diferencial  de  los  items  ( diferential  item  functioning).  Pero  conviene  no  con- 
fundir  ambos  aspectos.  En  efecto,  un  item  puede  tener  un  funcionamiento  diferencial, 
para  digamos  chicos  y chicas  y no  tener  sesgo.  La  definition  de  DIF  aclarara  este 
extremo. 

«Se  dice  que  un  item  funciona  diferencialmente  para  dos  o mas  grupos  si  la  proba- 
bilidad  de  dar  una  respuesta  correcta  a un  determinado  item  esta  asociada  con  la  per- 
tenencia  de  sujetos  de  la  misma  capacidad  a uno  de  los  grupos.  Si  el  grado  de  DIF  es 
significativo  desde  el  punto  de  vista  practico  y puede  ser  atribuido  plausiblemente  a 
una  caracteristica  del  item  que  es  relevante  para  el  constructo  medido,  entonces  la  pre- 
sencia  de  este  item  en  el  test  sesga  la  estimation  de  la  habilidad  de  algunos  indivi- 
duos»  (Holland  y Wainer,  1993). 

Asi  pues,  para  planificar  el  proceso  de  evaluation  sera  necesario  atender  a la  vali- 
dez y equidad  del  test  para  la  poblacion  especifica  para  la  que  se  va  a emplear,  al  tiem- 
po  que  se  deben  estudiar  con  cautela  los  baremos  disponibles  y todas  las  evidencias 
que  el  constructor  del  test  pueda  ofrecer  respecto  al  uso  e interpretation  de  las  puntua- 
ciones del  mismo. 

El  efecto  de  techo  es  el  ultimo  de  los  aspectos  que  queremos  senalar  en  relation  con  la 
medida,  pero  en  absoluto  el  menos  importante.  Mas  aun,  es  un  aspecto  critico.  «Se 
refiere,  como  es  sabido,  a la  falta  de  un  rango  de  dificultad  adecuado  en  los  items,  lo 
que  conduce  a que  los  sujetos  mas  capaces  no  puedan  demostrar  adecuadamente  todo 
su  potential.  Dicho  en  otros  terminos,  el  test  pierde  la  capacidad  de  discriminar  o dis- 
tinguir  las  diferencias  entre  los  sujetos  a partir  de  determinado  nivel.  De  este  modo, 
cuando  se  produce  el  efecto  de  techo,  sujetos  muy  distintos  en  su  potential  apareceran 
como  iguales  al  obtener  puntuaciones  similares»  (Touron  y cols.  1998). 

Utilizar  un  test  que  no  presenta  una  dificultad  adecuada  para  los  sujetos  mas  com- 
petentes  en  un  ambito  dado  es  como  hacer  una  carrera  de  100  metros  lisos  para  descu- 
brir  corredores  de  fondo.  Ciertamente  todos  llegaran  a la  meta,  pero  si  detenemos  ahi  la 
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carrera,  nunca  sabremos  a donde  podrfan  haber  llegado  los  corredores  con  mejor  forma 
ffsica,  cuales  realmente  son  corredores  de  fondo.  Y lo  que  es  peor,  consideraremos  a 
todos  como  velocistas,  cuando  muchos  de  ellos  no  lo  son.  Esto  es  particularmente  serio 
a la  hora  de  valorar  los  efectos  de  un  programa,  pues  si  el  test  o los  tests  que  emplee- 
mos  no  tienen  suficiente  recorrido,  apareceran  como  iguales  alumnos  de  competencias 
muy  diversas.  Por  otra  parte,  para  complicar  mas  las  cosas,  lo  veremos  al  hablar  del 
diseno,  si  estos  instrumentos  se  utilizan  como  medidas  pretest  y posttest,  los  alumnos 
mas  aventajados  tendran  pocas  o ninguna  posibilidad  de  mostrar  sus  ganancias  como 
resultado  del  programa,  pues  ya  tenderan  a obtener  puntuaciones  muy  altas  en  el  pre- 
test. Ademas,  unido  a esto  esta  el  conocido  efecto  de  regresion  por  el  que  los  sujetos  que 
en  un  pretest  toman  posiciones  muy  altas  tenderan  a obtener  puntuaciones  mas  bajas 
en  segundas  medidas  con  el  mismo  test.  Este  efecto  puede  atenuar  o llegar  a cancelar 
efectos  del  programa  que  son  reales.  Este  es  un  artefacto  estadfstico  que  debe  tenerse 
muy  presente  y que  afecta  a la  validez  interna  de  los  disenos  (Campbell  y Stanley,  1979) 
y que  puede  paliarse  utilizando  diferentes  instrumentos  para  las  medidas  pre  o postest, 
lo  que  vuelve  poner  en  primer  piano  la  problematica  de  la  medida. 

Este  efecto  sera  tanto  mas  grave,  logicamente,  cuanto  mas  extremos  sean  los  sujetos 
evaluados.  Se  considera  que  comienza  a presentarse  este  efecto  cuando  la  puntuacion 
media  de  un  grupo  esta  por  encima  del  75%  de  la  puntuacion  maxima  del  test,  o cuan- 
do la  distribucion  de  las  puntuaciones  esta  muy  sesgada  negativamente. 

Uno  de  los  mejores  sistemas  para  corregir  el  efecto  de  techo  es  utilizar  el  procedi- 
miento  denominado  en  el  ambito  sajon  «owf  of  level  testing»,  es  decir,  utilizar  tests  pre- 
vistos  para  sujetos  de  mayor  edad  que  la  de  aquellos  que  van  a ser  evaluados  (Cfr. 
Feldhusen,  1991).  Este  es  un  sistema  utilizado  con  probado  exito  en  el  estudio  de  la 
precocidad  matematica  a partir  del  modelo  denominado  Talent  Search  (Cfr.  Benbow, 
1991;  Stanley,  1991;  Touron  y Reyero,  en  prensa). 

d)  Problemas  con  los  disenos  de  evaluacion1 

Asf  como  los  problemas  tratados  anteriormente  pueden  ser  comunes  a evaluacio- 
nes  centradas  en  el  contexto,  el  proceso,  las  variables  de  entrada,  etc.,  los  problemas 
de  diseno  que  vamos  a tratar  brevemente  se  refieren  principalmente  a evaluaciones 
del  producto,  de  resultados.  Cualquier  evaluacion  de  programas  esta  relacionada  de 
un  modo  u otro  con  la  evaluacion  de  los  resultados  obtenidos  por  aquellos  alumnos 
que  ha  recibido  dicho  programa.  Ordinariamente  los  resultados  han  de  compararse 
con  los  de  otro  grupo  de  sujetos  de  las  mismas  caracterfsticas  pero  que  no  han  estado 
sometidos  al  efecto  del  programa.  Es,  como  se  comprende,  la  estrategia  clasica  del 
diseno  experimental  en  la  que  es  ocioso  entrar  aquf.  Lo  que  sf  puede  tener  interes,  por 
ser  una  problematica  importante  en  la  aplicacion  de  este  modelo,  es  el  llamado  pro- 
blema  del  grupo  de  comparacion  y el  problema  del  control.  El  primero  relacionado, 


1 En  el  anexo  I incluimos  un  cuadro  con  los  disenos  pre-experimentales,  quasiexperimentales  y experi- 
mentales  mas  frecuentes  en  la  evaluacion  de  programas,  analizando  las  limitaciones  a su  validez  interna  y 
externa  de  acuerdo  con  la  obra  de  Campbell  y Stanley. 
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como  es  obvio,  con  la  selection  adecuada  de  un  grupo  de  comparacion  para  el  que 
recibe  el  programa  (tratamiento),  el  segundo  relacionado  con  la  compleja  problemati- 
ca  del  control  de  las  variables  dentro  del  diseno.  Estos  problemas  y otros,  que  no  son 
del  caso,  han  llevado  a muchos  a preferir  el  abandono  del  modelo  experimental  por 
costoso  e inadecuado  a la  realidad  educativa  y a optar  por  disenos  (o  paradigmas) 
alternatives.  A nuestro  juicio,  la  evidencia  experimental  y su  aproximacion  a la  causa- 
lidad  no  pueden  ser  aparcadas  por  razones  mas  ideologicas  que  cientfficas.  La  capaci- 
dad  probatoria  del  diseno  esta  muy  por  encima  de  supuestas  metodologfas  mas 
flexibles,  aunque  su  puesta  en  practica  pueda  representar  serios  problemas,  algunos 
de  los  cuales  vamos  a analizar. 

Aunque  sea  sucintamente  senalemos  que  los  grupos  de  comparacion  son  grupos 
de  «control  no  equivalentes»  (intactos)  porque  no  se  han  formado  por  procedimientos 
aleatorios,  pero  que  se  consideran  suficientemente  equiparables  a los  grupos  experi- 
mentales,  y por  tanto  no  son  grupos  de  control  en  sentido  estricto,  segun  la  terminolo- 
gia  clasica  del  diseno  (Winner,  1971).  Cuando  los  procedimientos  de  formacion  de  los 
grupos  de  comparacion  no  son  aleatorios  se  nos  plantean  una  serie  de  problemas  que 
vamos  a analizar.  Desde  luego  el  mejor  grupo  de  comparacion  para  un  grupo  de  ninos 
de  alta  capacidad  que  reciben  un  programa  de  resolution  de  problemas,  por  ejemplo, 
sena  aquel  formado  por  ninos  de  alta  capacidad  de  su  mismo  entorno  que  no  han  reci- 
bido  el  programa.  Esto  plantea  problemas  bien  obvios,  tanto  politicos  como  eticos,  y 
pocos  padres  estarfan  dispuestos  a que  sus  ninos  fuesen  privados  de  una  ayuda  poten- 
cialmente  beneficiosas  para  ellos.  Veremos  altemativas  a este  problema. 

Desde  la  logica  del  diseno  y atendiendo  a la  validez  interna  del  mismo  (Campbell 
& Stanley,  1966),  es  diffcil  poder  atribuir  los  efectos  de  un  programa  (tratamiento)  sin 
una  comparacion  estricta  con  un  grupo  de  control  formado  aleatoriamente.  Aunque 
ironicamente,  segun  senala  Carter  (1991)  citando  a Snow  (1974),  un  diseno  que  opere 
sobre  grupos  aleatorizados  puede  dejar  de  ser  un  diseno  representative  del  contexto  del 
programa  que  pretendamos  evaluar.  Por  eso  Snow  recomienda  disenos  que  represen- 
ten  el  contexto  natural  donde  los  escolares  se  desenvuelven  normalmente  y no  los 
disenos  artificiales  que  pueden  llevar  a los  sujetos  actuar  de  modo  diferente  a como  lo 
harfan  de  no  estar  sujetos  a la  manipulacion  experimental.  El  problema  es  ser  capaces  de 
establecer  un  equilibria  aceptable  entre  las  exigencias  de  la  evaluacion  del  efecto  produ- 
cido  por  el  programa  y la  naturalidad  del  contexto.  Este  es  el  dilema  clasico  entre  la 
investigation  de  campo  y la  de  laboratorio.  Como  senala  Carter  (1991,  p.  262):  «Esto  es 
por  lo  que  los  evaluadores  deben  seleccionar  disenos  que  esten  lo  mas  proximos  posi- 
ble  al  diseno  ideal,  mientras  que  se  acomodan  a las  restricciones  y circunstancias  de  la 
situation.  Sea  cual  fuere  el  diseno  que  se  elija  debe  permitir  al  evaluador  responder  a 
las  preguntas  clave  de  la  evaluacion  en  el  tiempo  asignado  al  proyecto». 

En  relation  con  los  grupos  de  control  no  equivalentes,  que  hemos  llamado  grupo  de 
comparacion,  se  han  propuesto  algunas  soluciones  que  no  estan  exentas  de  problemas, 
pero  que  vamos  a comentar  brevemente.  La  primera  de  ellas  es  la  equiparacion.  Se  tra- 
tarfa  de  seleccionar  escuelas  o distritos  escolares  que  pudiesen  ser  emparejados  en 
determinadas  variables  consideradas  relevantes  para  la  igualacion  de  los  grupos.  Este 
procedimiento  que  es  viable  en  determinados  contextos  tiene  problemas  evidentes,  no 
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obstante,  ya  que  es  diffcil  determinar  en  que  variables  se  deben  equiparar  los  grupos, 
y mas  diffcil  todavfa  determinar  que  cualquier  otra  variable  no  considerada  no  pueda 
convertirse  en  una  hipotesis  rival  alternativa  al  efecto  del  programa.  Por  otra  parte  es 
improbable  que  un  distrito  o escuela  haya  identificado  a alumnos  de  alta  capacidad  y 
no  haya  establecido  algun  tipo  de  programa  para  ellos.  Mas  aun,  aun  aceptando  que 
es  posible  equiparar  al  grupo  experimental  con  un  grupo  de  control  razonablemente 
igualado  a el  en  algunas  variables,  muchas  otras  quedaran  necesariamente  fuera  de 
control,  con  lo  que  cualquier  atribucion  causal  del  efecto  del  programa  estara  compro- 
metida. 

Un  diseno  bastante  interesante  propuesto  por  Callahan  (1983)  para  la  evaluacion 
de  programas  esta  inspirado  en  la  tecnica  del  contrabalanceo  y esta  particularmente 
disenado  para  resolver  el  problema  del  grupo  de  control.  En  el  cuadro  1 reproducimos 
un  esquema  del  mismo  con  una  modification  importante  introducida  por  Carter 
(1991).  En  este  diseno  se  comparan  alumnos  de  alta  capacidad  que  han  recibido  el  pro- 
grama con  otros  que  no,  pero  para  ello  se  divide  el  currfculo  en  unidades  que  se  apli- 
can  de  modo  altemo  a los  grupos.  Asf,  mientras  en  el  momento  1 un  grupo  recibe  la 


CUADRO 1 

DISENO  PROPUESTO  POR  CALLAHAN  Y MODIFICADO  POR  CARTER  PARA  LA 
EVALUACION  DEL  CURRtCULO  PARA  ALUMNOS  DE  ALTA  CAPACIDAD 


Evaluacion  de  una  Unidad  curricular 

Grupos 

Tiempo  1 

Tiempo  2 

Grupo  A (alta  capacidad) 
G1 

X 

Y 

G2 

X 

Y 

G3 

X 

Y 

Grupo  B (alta  capacidad,  comparacion) 
G4 

Y 

X 

G5 

Y 

X 

G6 

Y 

X 

Grupo  C (no  alta  capacidad) 
R1 

X 

Y 

R2 

X 

Y 

R3 

X 

Y 

Gmpo  B (no  alta  capacidad,  comparacion) 
R4 

Y 

X 

R5 

Y 

X 

R6 

Y 

X 

X:  unidad  curricular  experimental;  Y=  otra  unidad  curricular 
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unidad  X,  el  otro  recibe  la  unidad  Y,  siendo  la  situation  contraria  en  el  momento  2.  De 
este  modo  el  grupo  expuesto  a la  unidad  X actua  de  control  para  el  grupo  que  ha  reci- 
bido  la  unidad  Y,  y del  mismo  modo,  el  Y sera  control  para  el  que  ha  recibido  la  uni- 
dad X.  Observese  que  se  trata  de  alumnos  de  alta  capacidad  en  ambos  casos  que  han 
sido  divididos  (aleatoriamente  de  modo  ideal)  en  dos  grupos,  con  lo  que  la  equivalen- 
ce esta  garantizada.  Hay  algunos  problemas  practicos  en  los  que  no  vamos  a entrar, 
pero  que  estan  relacionados  con  las  posibilidades  de  compartimentar  el  curriculo 
de  este  modo  o de  alterar  las  secuencias  de  las  unidades,  por  citar  solo  dos  casos  evi- 
dentes. 

Pero  veamos  la  segunda  parte  del  cuadro,  que  es  analoga  a la  primera  pero  en  este 
caso  las  unidades  se  alteman  con  grupos  de  sujetos  no  de  alta  capacidad.  Los  grupos  C 
y D reciben  las  mismas  unidades  desarrolladas  por  los  profesores  de  los  grupos  A y B. 
De  este  modo  el  grupo  A es  comparado  con  el  C (ambos  reciben  la  misma  unidad  X)  y 
el  grupo  B es  comparado  con  el  D (ambos  reciben  la  unidad  Y).  De  esta  forma,  segun 
Carter  (1991)  se  puede  estudiar  el  efecto  de  la  education  diferenciada  para  los  super- 
dotados  en  variables  como  la  tasa  de  aprendizaje,  la  amplitud  y la  profundidad,  ya 
que  se  estaran  comparando  clases  regulares  con  clases  de  alta  capacidad.  Esto  permiti- 
ra  a los  evaluadores  comprobar  si  las  clases  regulares  pueden  beneficiarse  del  curricu- 
lo desarrollado  para  los  superdotados  en  el  mismo  grado  que  estos. 

En  ocasiones  es  imposible  disponer  de  un  grupo  de  comparacion,  por  limitaciones 
de  la  propia  realidad  educativa  en  la  que  vamos  a evaluar  un  programa  o porque  no  es 
posible  establecer  un  grupo  comparable.  Aun  en  este  caso  es  importante  poder  esta- 
blecer  algun  tipo  de  comparacion  que  permita  valorar  el  programa. 

Un  procedimiento  que  se  ha  descrito  en  la  literatura  es  el  pretest  retrospectivo.  En 
este  caso  los  sujetos  actuan  como  su  propio  control.  Una  vez  que  los  sujetos  han  recibi- 
do la  instruction  su  rendimiento  es  evaluado  con  algun  test  o cuestionario  que  se  con- 
sidere  apropiado.  A continuation  se  les  ofrece  el  mismo  instrumento  y se  les  pide  que 
respondan  al  mismo  como  lo  habrian  hecho  antes  de  recibir  la  instruction.  Los  resulta- 
dos  se  comparan  para  analizar  las  posibles  diferencias.  La  debilidad  del  procedimien- 
to reside  en  la  confianza  que  se  pueda  conceder  a la  capacidad  de  los  sujetos  para 
autoevaluarse  en  este  modo.  Payne  y Browne  (1982)  citado  por  Carter  (1991)  ofrecen 
resultados  satisfactorios  sobre  todo  en  el  campo  de  variables  afectivas,  aunque  afir- 
man  haberlo  utilizado  con  exito  tambien  en  el  campo  cognitivo. 

Analicemos  para  terminar  este,  necesariamente  rapido,  repaso  por  algunos  de  los 
problemas  mas  importantes  en  la  evaluation  de  programas,  la  problematica  del  con- 
trol cuando  las  limitaciones  del  contexto  impiden  la  manipulation  de  variables,  la  for- 
mation aleatoria  de  grupos,  etc.  Hay  tres  grupos  de  disenos  comunmente  utilizados: 
el  causal  comparative,  los  disenos  correlacionales  y los  disenos  cuasiexperimentales. 
Veamos  algunas  particularidades  de  ellos. 

Los  disenos  causales  comparativos  son  disenos  que  se  utilizan  cuando  la  manipula- 
tion de  variables  es  imposible.  En  su  forma  mas  simple  se  trata  de  dos  grupos  natura- 
les  (intactos),  uno  de  los  cuales  ha  recibido  el  programa  y el  otro  no.  La  ausencia  de 
control  es  total,  pues  ni  siquiera  es  posible  determinar  aleatoriamente  que  grupo  reci- 
bira  el  programa.  El  unico  control  que  puede  ejercer  el  evaluador  es  la  selection  del 
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grupo  de  comparacion,  que  debera  ser  tan  similar  al  que  ha  recibido  el  programa 
como  sea  posible.  Aunque  los  analisis  estadisticos  que  se  llevan  a cabo  con  estos  dise- 
nos son  iguales  que  los  que  se  realizan  con  disenos  experimentales,  es  preciso  no 
cometer  el  error  de  hacer  el  mismo  tipo  de  inferencias.  Sin  control  sobre  las  variables 
toda  inferencia  causal  sera  inadecuada,  solo  sera  posible  realizar  afirmaciones  relacio- 
nales.  La  debilidad  de  este  diseno  es  patente,  aunque  ofrece  un  grupo  de  comparacion 
que  de  ser  probada  su  equivalencia  en  variables  relevantes  para  el  programa,  aporta 
una  cierta  informacion. 

Los  disenos  correlacionales  son  una  alternativa  interesante  aunque  poco  utilizada  por 
los  evaluadores.  Difieren  de  los  anteriores  en  que  solo  utilizan  un  grupo  y los  datos  se 
analizan  con  tecnicas  correlacionales.  Naturalmente  estos  disenos  utilizan  procedi- 
mientos  que  van  mas  alia  de  la  correlacion  bivariada,  empleandose  con  frecuencia  pro- 
cedimientos  de  regresion  multiple,  analisis  discriminante  o correlacion  canonica. 
Cuando  se  utiliza  la  regresion  multiple,  la  variable  dependiente  es  el  resultado  que  se 
pretende  medir  en  el  programa  (simple  o multiple)  y las  variables  dependientes  son 
aquellas  cuya  capacidad  predictiva  sobre  tal  resultado  interesa  analizar.  De  este  modo 
es  posible  obtener  informacion  que,  aunque  no  puede  ser  causal,  es  muy  interesante 
para  valorar  distintas  dimensiones  del  programa.  Ni  que  decir  tiene  que  las  posibilida- 
des  de  los  modelos  causales  o los  recientes  desarrollos  del  analisis  multinivel  permiti- 
ran  avances  muy  sustantivos  en  la  evaluacion  de  programas. 

Para  terminar  esta  sucinta  exposicion,  podemos  hacer  mencion  a algunos  disenos 
cuasi  experimentales,  quiza  los  que  mejor  se  adaptan  a las  limitaciones  y condiciona- 
mientos  contextuales  a los  que  debe  atender  la  evaluacion.  Si  bien  es  cierto  que  distan 
de  los  verdaderos  experimentos  en  cuanto  al  control,  no  cabe  duda  de  que  ofrecen  una 
informacion  muy  valiosa  en  la  evaluacion  al  tiempo  que  controlan  muchas  de  las  ame- 
nazas  a la  validez  interna  (ver  anexo  I). 

Dos  de  estos  disenos  son:  el  diseno  de  series  cronologicas  de  grupo  unico  y el  diseno 
de  series  cronologicas  grupo  de  control  no  equivalente2. 

El  primero  de  ellos  utiliza  un  solo  grupo  al  que  se  mide  a intervalos  regulares 
antes  del  tratamiento  (programa)  y despues  de  terminar  la  intervencion.  El  disponer 
de  medidas  antes  y despues  permitira  determinar  el  posible  efecto  del  programa, 
para  ello  sera  preciso  analizar  la  serie  temporal  de  medidas  antes  y despues  y com- 
probar  la  tendencia  y el  cambio  producido  por  el  programa,  lo  que  no  puede  hacerse 
de  modo  correcto  en  un  diseno  en  el  que  solo  tuviesemos  una  medida  antes  y otra 
despues.  Las  limitaciones  de  espacio  no  nos  permiten  analizar  ejemplos  ilustrativos 
de  este  diseno  (puede  verse  la  obra  de  Campbell  y Stanley,  1966,  o Fitz-Gibbon  y 
Morris,  1987). 

Finalmente,  el  diseno  de  series  temporales  con  grupo  de  control  no  equivalente 
en  su  forma  mas  simple  consiste  en  un  desarrollo  del  anterior  pero  utilizando  dos 
grupos  naturales  (pueden  verse  las  amenazas  a la  validez  en  el  anexo  I).  El  trata- 


2 Un  diseno  muy  interesante  utilizado  con  exito  en  la  evaluacion  de  programas  es  el  de  discontinui- 
dad  en  la  regresion,  que  aquf  no  vamos  a tratar.  Puede  verse  una  description  en  Stanley  y Robinson  (1986)  y 
una  aplicacion  practica  en  Robinson  y Stanley  (1989). 
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miento  es  aleatoriamente  asignado  a uno  de  los  grupos  actuando  el  otro  como  con- 
trol (mas  bien  como  comparacion,  pues  al  no  haber  sido  asignados  los  sujetos  aleato- 
riamente, no  es  adecuado  denominarlo  de  control).  Como  senala  Carter  (1991,  p. 
268),  «la  no  equivalencia  de  los  grupos  es  la  mayor  debilidad  de  este  diseno.  Para 
interpretar  correctamente  los  efectos  del  tratamiento,  los  evaluadores  deben  detectar 
las  diferencias  entre  los  grupos  antes  del  tratamiento  a partir  del  los  pretests  y de 
comparaciones  en  otras  variables  que  puedan  ser  relevantes  para  el  programa.  Si  los 
analisis  en  las  variables  pretest  no  revelan  diferencias  significativas,  los  resultados 
del  programa  se  puede  analizar  a partir  de  la  comparacion  entre  los  posttests,  pero  si 
las  hubiese,  la  utilization  de  un  control  estadfstico,  como  el  analisis  de  varianza  serfa 
necesario,  en  realidad  es  comun  y conveniente  aplicar  este  control  aunque  no  se 
encuentren  diferencias  significativas,  siempre  que  las  variables  (covariantes)  medi- 
das  antes  del  programa  sean  realmente  relevantes  y tengan  un  posible  impacto  en 
los  resultados». 

4.  CONCLUSIONES 

En  las  paginas  precedentes  hemos  tratado  de  plantear  la  justification  a una  educa- 
tion diferenciada  para  los  alumnos  de  alta  capacidad.  La  investigacion,  principalmen- 
te  llevada  a cabo  en  pafses  de  habla  inglesa,  ha  venido  mostrando  evidencias 
abundantfsimas  de  esta  necesidad.  Es  pueril  pensar  que  los  ninos  de  alta  capacidad  se 
desarrollaran  adecuadamente  sin  una  intervention  y ayuda  adecuadas.  Simplemente 
no  es  asf,  pero  no  es  esta  una  cuestion  de  opinion,  sino  de  resultados  de  investigacion 
convenientemente  contrastados. 

A pesar  de  ello,  determinados  prejuicios  llevan  a muchas  autoridades  educativas  y 
a los  educadores  mismos  a presentar  resistencias  mas  o menos  fuertes  en  contra  de 
una  education  diferenciada,  que  no  segregada  (el  principio  de  integration  tampoco  lo 
permitirfa).  Por  esta  razon,  los  programas  se  enfrentan  con  una  problematica  evaluati- 
va  peculiar,  pues  deben  constantemente  mostrar  que  son  eficaces  para  poder  subsistir. 
La  evaluation,  como  senalamos  al  comienzo,  es  la  garantfa  para  la  defensa  de  estos 
programas  alia  donde  existen. 

Algunos  de  los  problemas  metodologicos  con  los  que  la  evaluation  se  enfrenta  han 
sido  objeto  de  consideration.  De  modo  particular  los  relacionados  con  la  medida  y el 
diseno.  Problemas,  por  otra  parte,  que  si  bien  tienen  una  peculiaridad  propia  en  los 
programas  dirigidos  a una  poblacion  particular,  comparten  muchos  aspectos  con  la 
problematica  metodologica  general. 

La  situation  de  nuestro  pais  en  lo  que  al  desarrollo  de  programas  para  alumnos  de 
alta  capacidad  se  refiere  es  muy  deficiente,  por  lo  que  los  resultados  de  evaluation  son 
practicamente  inexistentes,  al  menos  hasta  donde  conocemos.  O si  existen  no  llegan  a 
ser  publicados  en  los  canales  ordinarios  de  divulgation. 

Es  preciso,  a nuestro  juicio,  flexibilizar  el  sistema  educativo  y conseguir  una  escue- 
la  mas  adaptativa  que  ofrezca  a cada  alumno  las  ayudas  que  precisa  para  su  desarro- 
llo. Al  mismo  tiempo  se  hace  patente  la  necesidad  de  disenar  programas  espetificos 
para  atender  a tales  necesidades,  mas  alia  de  lo  que  la  escuela  regular  ofrece.  La  meto- 
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dologia  de  la  evaluation,  aunque  presenta  problemas  que  hemos  tratado  tambien  es 

cierto  que  ofrece  pautas  razonablemente  adecuadas  para  valorar  la  eficacia  de  tales 

programas,  al  menos  desde  la  optica  que  aqui  se  ha  adoptado. 
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CONCEPTO  DE  EDUCACION  EMOCIONAL 

Segun  el  art.  l.a  de  la  LOGSE,  el  sistema  educativo  se  orientara  al  pleno  desarrollo 
de  la  personalidad  del  alumnado.  Esto  implica  atender  no  solamente  al  desarrollo  cog- 
nitive, sobre  el  cual  hay  un  enfasis  claramente  predominante,  sino  tambien  al  desarro- 
llo emocional  que  lo  debe  complementar.  De  las  dificultades  emocionales  pueden 
derivarse  estados  de  ansiedad,  estres,  depresion,  consumo  de  drogas,  violencia,  con- 
duction temeraria,  trastornos  de  la  alimentation,  fobia  escolar,  indisciplina,  etc.  Diver- 
sos  trabajos  recientes  han  puesto  de  manifiesto  como  el  analfabetismo  emotional  tiene 
unos  efectos  altamente  negativos  sobre  las  personas  y sobre  la  sociedad  (Goleman, 
1995).  De  hecho  la  mayoria  de  bajas  laborales  son  debidas  a causas  relacionadas  con 
las  emociones  (ansiedad,  estres,  depresion);  por  esta  misma  causa  los  medicamentos 
mas  consumidos  son  tranquilizantes,  ansioliticos  y antidepresivos,  con  un  elevado 
coste  en  la  seguridad  social.  La  respuesta  educativa  a esta  necesidad  social  puede  ser 
la  education  emocional. 

Entendemos  por  education  emocional  a un  proceso  educativo,  continuo  y permanente, 
que  pretende  desarrollar  el  conocimiento  sobre  las  propias  emociones  y las  de  los  demas  con 
objeto  de  capacitar  al  individuo  para  que  adopte  comportamientos  que  tengan  presente  los  prin- 
cipios  de  prevention  y desarrollo  humano  (Bisquerra,  2000). 

Los  objetivos  generales  de  la  education  emotional  pueden  resumirse  en  los  siguien- 
tes  terminos:  a)  adquirir  un  mejor  conocimiento  de  las  propias  emociones  como  aspec- 
to  importante  del  autoconcepto;  b)  identificar  las  emociones  de  los  demas  de  cara  a 
facilitar  unas  mejores  relaciones  interpersonales;  c)  desarrollar  la  habilidad  para  con- 
trolar  y canalizar  de  forma  apropiada  las  propias  emociones;  d)  prevenir  los  efectos 
perjudiciales  de  las  emociones  negativas  intensas  (ira,  miedo,  estres,  depresion,  etc.); 
e)  desarrollar  la  habilidad  para  experimentar  emociones  positivas  (alegria,  humor, 
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amor,  felicidad)  y generarlas  de  forma  consciente  y voluntaria;  f)  desarrollar  la  inteli- 
gencia  emocional  y las  competencias  emocionales  consecuentes;  g)  desarrollar  la  habi- 
lidad  de  automotivarse;  h)  adoptar  una  actitud  positiva  ante  la  vida. 

Los  contenidos  de  la  educacion  emocional,  como  consecuencia  de  lo  anterior,  giran 
en  torno.  a temas  como  los  siguientes:  Concepto  de  emocion  y tipos  de  emociones; 
emocion  y salud;  emocion  y motivacion;  la  inteligencia  emocional;  conocer  las  propias 
emociones;  reconocer  las  emociones  de  los  demas;  control  emocional;  las  habilidades 
socio-emocionales;  las  emociones  en  la  resolution  de  conflictos;  las  emociones  en  la 
toma  de  decisiones;  emociones  y consumo  de  drogas;  adoptar  una  actitud  positiva 
ante  la  vida;  bienestar  subjetivo  y calidad  de  vida. 

Consideramos  que  la  educacion  emocional  es  un  aspecto  mas  de  la  orientacion 
psicopedagogica,  centrada  en  la  prevention  y el  desarrollo  humano.  En  otros  trabajos 
(Bisquerra  y Alvarez,  1998)  se  exponen  los  modelos  de  intervencion  en  orientacion  y 
las  estrategias  de  implantation  que  de  menos  a mas  implication  se  concretan  en: 
orientacion  y educacion  ocasional,  programas  en  paralelo,  asignaturas  optativas, 
accion  tutorial,  integration  curricular  y sistemas  de  programas  integrados.  Estas  mis- 
mas  estrategias  son  apropiadas  en  una  intervencion  de  educacion  emocional. 

La  educacion  emocional  puede  entenderse  como  un  tema  transversal  en  el  que  par- 
ticipan  la  totalidad  del  profesorado  en  sus  clases  a lo  largo  de  todo  el  curriculum  aca- 
demico.  Las  lecciones  pueden  ser  muy  breves.  Los  diversos  temas  del  programa  se 
introducen  en  un  determinado  curso  pero  son  retomados,  ampliados  y profundizados 
en  sucesivos  cursos  posteriores.  No  se  trata  de  que  cada  curso  se  repita  todo,  sino  de 
que  cada  topico  sea  contemplado  varias  veces  a lo  largo  de  todo  el  curriculum 

LA  EVALUACION  DE  LAS  EMOCIONES 

Toda  intervencion  en  educacion  emocional,  como  cualquier  accion  orientadora,  pre- 
cisa  de  la  evaluacion  para  optimizarse  y constatar  sus  resultados.  Sin  embargo  somos 
conscientes  de  la  problematica  que  ello  entrana.  Las  emociones  son  subjetivas  y por 
tanto  dificiles  de  medir.  Como  en  toda  medicion,  hay  que  procurar  asegurar  la  validez 
del  instrumento  y un  elevado  coeficiente  de  fiabilidad.  Esto  no  es  facil  al  intentar  medir 
las  emociones.  Pero  hay  otros  aspectos  conflictivos  serialados  por  la  literatura. 

La  medicion  de  las  emociones  debe  fundamentarse  sobre  una  teorfa  de  las  emocio- 
nes. De  acuerdo  con  la  teoria  psicoevolucionista  de  Plutchik  (1991)  para  medir  las 
emociones  hay  que  medir  cada  uno  de  sus  coinponentes  (fisiologico,  comportamental 
y cognitivo)  por  separado.  Ademas  serfa  conveniente  medir  otros  factores  asociados 
como  los  rasgos  de  personalidad,  estilos  de  afrontamiento,  defensas  del  yo,  etc. 

Las  mediciones  del  componente  fisiologico  de  las  emociones  toman  como  indica- 
dores  diversas  caracterfsticas  como  la  tasa  cardiaca,  temperatura  de  la  piel,  el  ritmo 
respiratorio,  etc.  A un  nivel  mas  sofisticado  se  utilizan  registros  electromiograficos 
(por  ejemplo  faciales).  Otras  variables  neurofisiologicas  y neuroqufmicas  se  utilizan  en 
psicoendocrinologia  y psicofarmacologia  (por  ejemplo:  niveles  de  serotonina,  noradre- 
nalina  y dopamina  en  relacion  con  trastornos  del  estado  de  animo).  Las  nuevas  tecno- 
logias  estan  aportando  instruments  como  la  TEP  (Tomograffa  por  Emision  de 
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Positrones),  la  IRMF  (Imagen  por  Resonancia  Magnetica  Funcional)  y la  MEG  (Magne- 
toencefalograffa).  Sin  embargo,  todo  este  instrumental  se  aparta  bastante  de  lo  que  se 
utiliza  habitualmente  en  education  emocional. 

Entre  las  tecnicas  utilizadas  actualmente  en  la  medicion  del  componente  comporta- 
mental  de  las  emociones  estan  la  filmacion  en  video  de  expresiones  para  su  analisis 
posterior  en  camara  lenta1.  La  clave  para  intuir  las  emociones  consiste  en  sintonizar 
con  los  canales  de  comunicacion  no  verbal  (tono  de  voz,  gestos,  expresion  facial,  etc.). 
Para  evaluar  esta  habilidad  Rosenthal  (1977)  diseno  el  test  PONS  (Profile  Of  Nonver- 
bal Sensitivity).  La  utilizacion  de  estos  instrumentos,  cuyo  uso  puede  ser  recomenda- 
ble  en  investigacion,  en  la  practica  habitual  de  los  programas  de  intervencion  resulta 
como  minimo  complicada.  No  obstante,  consideramos  que  la  medicion  de  los  compor- 
tamientos  es  importante  para  la  evaluacion  de  programas  de  educacion  emocional  ya 
que  nos  aproxima  a la  evaluacion  de  la  competencia  emocional  adquirida  por  el  sujeto; 
en  consecuencia,  uno  de  los  retos  de  futuro  recae  en  la  elaboracion  de  instrumentos  o 
recursos  con  tal  proposito. 

La  medida  del  componente  cognitivo  se  basa  en  la  utilizacion  de  instrumentos 
como  cuestionarios,  escalas  o autoinformes  estructurados  o informales,  los  cuales  son  el 
unico  recurso  disponible  para  la  medicion  del  aspecto  cognitivo-subjetivo  de  las  emo- 
ciones. Algunos  de  estos  instrumentos  han  logrado  una  considerable  validez  y fiabili- 
dad  en  los  ultimos  ahos.  Sin  embargo  hay  que  utilizar  sus  resultados  con  cautela  por 
diversas  razones  que  pueden  influir  en  los  resultados  (memoria,  aprendizaje,  dominio 
del  lenguaje,  pensamientos  y creencias  sobre  las  emociones,  deseabilidad  social,  etc.). 

Consideramos  que  en  la  evaluacion  de  programas  de  educacion  emocional  a lo  que 
se  puede  aspirar,  en  estos  momentos,  es  a la  medicion  del  componente  cognitivo  de  las 
emociones.  Esto  supone  utilizar  instrumentos  de  medida,  basados  en  dos  tipologias  de 
instrumentos:  a)  intrumentos  estandarizados,  b)  instrumentos  de  caracter  mas  cualita- 
tivo.  Vease  las  figuras  2 y 3. 

MODELOS  DE  EVALUACION  DE  PROGRAMAS  APROPIADOS  PARA  LA  EDU- 
CACION EMOCIONAL 

Se  ha  cifrado  en  mas  de  cincuenta  los  modelos  de  evaluacion  de  programas  pro- 
puestos  en  los  ultimos  ahos.  Sin  embargo,  en  el  ambito  de  la  orientacion,  los  modelos 
que  han  causado  mayor  impacto  son  aquellos  que  se  orientan  a la  toma  de  decisiones. 
De  entre  ellos  destacamos  en  el  cuadro  siguiente  sus  rasgos  fundamentales. 

Para  la  evaluacion  de  los  programas  de  educacion  emocional,  partiendo  de  expe- 
riencias  previas  en  evaluacion  de  programas,  el  GROP  (Grup  de  Recerca  en  Orientacio 
Psicopedagogica)  ha  optado  por  tomar  como  referente  el  modelo  CIPP  de  Stufflebeam, 


1 En  concreto  hay  dos  metodos  de  uso  predominante:  a)  FACS  (Facial  Action  Coding  System)  elabora- 
do  por  Ekman  y Friesen  (1978),  que  se  basa  en  un  minucioso  analisis  molecular  de  cada  uno  de  los  movi- 
mientos  musculares  de  la  cara  considerados  de  forma  independiente;  b)  MAX  (Maximally  discriminative 
facial  movement  coding  system),  desarrollado  por  Izard  (1979),  con  una  modificacion  posterior  denominada 
AFFEX  (Izard  et  al.,  1983),  que  se  basa  en  un  analisis  molar  que  implica  hacer  ciertas  inferencias  sobre  las 
emociones  subyacentes. 
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MODELO/AUTOR 

PROCESO/FASES 

OBSERVACIONES 

Modelo  Global  de 
Atkinson,  Furlog  y Jaroff 
(1979) 

>•  Recoge  informacibn  cualitativa  sobre  el  proceso  de 
orientacibn. 

>•  Recoge  informacibn  cualitativa  sobre  los  resultados. 

>•  Recoge  informacibn  cuantitativa  sobre  las  acciones  del 
orientador. 

>•  Recoge  informacibn  cuantitativa  sobre  los  resultados. 

Las  diferentes  categorlas  de 
datos  recogidos  son  utiles  a 
diferentes  audiencias 
Favorece  la  autoevaluacibn 
del  orientador. 

Modelo  de  Alkin  (1969) 

Se  estructura  en  cinco  breas  de  decisibn: 

>•  Eleccibn  del  problema  (anblisis  de  necesidades  i priorizacibn) 
>•  Eleccibn  del  programa 

Implementacibn  del  programa  (Evaluacibn  del  proceso) 

>■  Mejora  del  programa  (recoge  informacibn  util  para  su 
optimizacibn) 

>•  Certificacibn.  (Recoge  y valora  informaciones  sobre  efectos) 

Algunos  autores  lo  han 
considerado  una  variante  del 
modelo  CIPP 

Modelo  CIPP  de 
Stufflebeam  (1987) 

Estructura  la  evaluacibn  del  programa  entorno  a cuatro 
contenidos  evaluativos: 

>■  Evaluacibn  de  contexto  (recoge  informacibn  para  la  toma  de 
decisiones  sobre  la  implantacibn  y el  disefio) 

>•  Evaluacibn  de  entrada  (pretende  tener  elementos  de  juicio 
que  justifiquen  el  plan  de  intervencibn) 

>•  Evaluacibn  de  proceso  (verificacibn  de  la  puesta  en  prbctica) 
>■  Evaluacibn  de  producto  (logros  de  la  intervencibn  que 
pueden  referirse  a la  eficacia,  eficiencia,  efectividad  y/o 
impacto  del  programa) 

Los  datos  recogidos  en  cada 
uno  de  los  cuatro  contenidos 
de  la  evaluacibn  posibilitan  la 
toma  de-decisiones  posterior, 
segun  los  casos, 
planificacibn,  programacibn, 
implementacibn  y reciclage. 

Modelo  de 
Pbrez  Juste  (1990) 

Considera  que  la  evaluacibn  de  programas  educativos  debe 
realizarse  en  tres  momentos: 

>■  El  programa  en  si  mismo.  (Consiste  en  el  anblisis  de  la  calidad 
intrfnseca  del  programa,  de  su  adecuacibn  a los  destinatarios 
y a la  situacibn  de  partida) 

El  programa  en  su  desarrollo.  (Se  atiende  tanto  a la  ejecucibn 
en  sf  como  al  marco  contextual  de  aplicacibn) 

>•  El  programa  en  sus  resultados.  (Se  atiende  no  solo  a los 
niveles  de  logro,  incorporando  la  valoracibn  de  los  mismos  y la 
continuidad  del  programa) 

Parte  del  principio  de  que 
cualquier  actividad  puede  ser 
mejorada  y es,  de  hecho 
mejorable. 

La  evaluacibn  de  programas 
serb  la  base  de  mejora  tanto 
de  los  mismos  como  del 
personal  implicado,  y,  de 
modo  in di recto,  del  cuerpo 
social  en  que  se  encuentra 
inmerso. 

Figura  1. 

Modelos  de  evaluacion. 


al  considerar  que,  a la  vez  que  nos  permite  reparar  en  los  cuatro  contenidos  evaluati- 
vos  antes  citados,  tambien  nos  ofrece  la  posibilidad  de  utilizar  una  amplia  diversidad 
metodologica  para  la  recogida  de  datos,  especialmente  cuando  se  trata  de  aspectos 
emocionales  de  diffcil  medicion. 

INSTRUMENTOS  PARA  LA  MEDICION  DE  LAS  EMOCIONES 

A continuation  se  presentan  algunos  de  los  instrumentos  que  pueden  ser  utiles 
para  medir  aspectos  cognitivos  de  las  emociones.  Algunos  de  estos  instrumentos  pue- 
den ser  utiles  para  constatar  niveles  conseguidos  en  algunos  aspectos  concretos  de  la 
education  emotional,  por  ejemplo:  el  cuestionario  de  autocontrol  infantil  y adolescen- 
cia  (CACIA)  puede  ser  util  en  aquellas  ocasiones  en  que  solo  se  hayan  trabajado  aspec- 
tos relacionados  con  el  control  emotional,  o el  cuestionario  de  asertividad  de  M.  Dasi  y 
otros  (1997)  puede  ayudar  en  la  evaluacion  de  interventions  sob  re  habilidades  socio- 
emocionales.  En  la  figura  2 se  incluyen  instrumentos  estandarizados,  mientras  que  en 
la  figura  3 se  presentan  instrumentos  de  caracter  mas  cualitativo. 
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Figura  2. 

Instrumentos  estandarizados. 
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GUIA  PARA  EL  PROCESO  DE  EVALUACION 


Para  llevar  a cabo  la  evaluation  de  programas  de  forma  operativa,  es  conveniente 
seguir  una  serie  de  fases  para  cada  uno  de  los  cuatro  contenidos  evaluados  del  modu- 
lo CIPP  (EV.  de  contexto,  EV  de  entrada,  EV  de  proceso  y EV.  de  producto). 


t,Cual  es  el  proposito  de  la  presentacion  > 
de  los  resultados? 

t,Que  aspectos  debe  tener  en  cuenta  un  l 
informe  de  evaluacion? 

t=t L 

1 

Elaboration  del 
plan  de 
evaluation 

f ^Cual  es  el  objetivo  de  la  evaluacion? 

^Quien  recibira  los  resultados  de  la  evaluacion? 
^Quienes  son  los  encargados  de  la  evaluacion? 
^Que  se  tiene  que  evaluar? 

^Cu^ndo  se  tiene  que  evaluar? 

^Cuales  son  los  criterios  de  evaluacion? 

^Que  aspectos  se  deb 
cuenta  en  el  anali: 
<,Que  fases  incluye  el 
valoracion  de  los  i 

4 

Presentation  de 
los  resultados 

PROCESO 

DE 

EVALUACION 

J';  2 

Instrumentation  y 
recogida  de  la 
Information 

]• 

r en  cuenta  para  la 
imentos? 

nentos  y recursos  podemos 

•v 

teran  tener  en 
sis?  1 L. 

analisis  y la  r LI 

resultados? 

J 

3 

Anilisisy 
vaioradOn  de  la 
information 

< 

-CL 

^,Que  conviene  tenei 
seleccion  de  instn 
4,Que  tipo  de  instrur 
utilizar? 

Figura  3. 

Fases  en  la  evaluacion  de  programas. 


O 
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Primera  fase:  Elaboracion  del  plan  de  evaluacion.  En  esta  fase  se  trata  de  sentar  las 
bases  sobre  las  que  se  va  a fundamentar  todo  el  proceso  de  evaluation.  Para  ello,  se  ha 
dar  respuesta  a las  siguientes  cuestiones: 

A)  iCual  es  el  objetivo  de  la  evaluation? 

A la  hora  de  afrontar  el  proceso  de  evaluation,  es  tan  importante,  tener  en  cuenta 
los  productos  como  el  proceso  que  ha  contribuido  a ellos.  Asf  sugerimos: 

a)  Comprobar  el  nivel  de  conocimientos  y competences  emotionales  adquiridos 
por  los  alumnos. 

b)  Tomar  contientia  de  los  diferentes  estados  emotionales  manifestados  por  alun- 
mos  y profesores. 

c)  Tener  en  cuenta  las  circunstantias  favorecedoras  o no  de  la  aplicacion  del  programa. 

B)  iQuien  retibira  los  resultados  de  la  evaluacion?  Se  han  de  identificar  las  audien- 
cias  que  haran  uso  de  los  informes  la  evaluacion: 

— Alumnado 

— Profesorado 

— Profesor  de  Psicologfa  y Pedagogfa 

— Equipo  directivo 


l.- 

V 
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C)  ^Quienes  son  los  encargados  de  la  evaluacion?  Es  necesario  clarificar  el  rol  de 
los  evaluadores  y cual  es  el  nivel  de  participation  de  los  implicados  en  su  ejecucion  asi 
como  de  los  receptores. 


Responsables  de  la  evaluacion 

Roles 

Profesorado 

Ejecutor  de  la  evaluacion  (responsable  en  todas 
sus  fases) 

Profesor  de  Psicologia  y Pedagogia. 

Asesor,  colaborador  en  los  procesos  de  evaluacion. 

D)  iQue  se  tiene  que  evaluar? 

Se  han  de  delimitar  los  aspectos  a evaluar.  Concretamente  en  la  Education  emocio- 
nal  los  aspectos  a evaluar  son: 

— Los  conocimientos  basicos  sobre  emociones 

— Las  competences  emocionales  adquiridas 

— Los  estados  emocionales 

E)  ^Cuando  se  tiene  que  evaluar? 

Consideramos  que  son  tres  los  momentos  clave  en  la  evaluacion  de  un  programa  y 
en  cada  uno  de  ellos  se  pueden  distinguir  los  contenidos  de  evaluacion  a tener  en 
cuenta: 


Momentos 

Contenidos 

ANTES 

Ev.  de  necesidades  y ev.  de  diseno 

DURANTE 

Ev.  de  prooeso  y de  producto 

DESPUIiS 

Ev.  de  proceso  y de  producto 

F)  ^Cuales  son  los  criterios  de  evaluacion? 

Estos  deben  extraerse  de  los  objetivos  propuestos.  A partir  de  aqui  se  senalaran  los 
indicadores  y se  concretaran  los  estandares. 

Segunda  fase:  Instrumentation  y recogida  de  la  information 

G)  iQue  conviene  tener  en  cuenta  para  la  selection  de  los  instrumentos? 

— Que  midan  aquellas  variables  y/o  dimensiones  que  se  pretenden  medir,  tenien- 
do  en  cuenta  los  aspectos  a evaluar:  conocimientos,  competencias  y estados 
emocionales. 
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— Que  sea  lo  mas  simple  posible  en  cuanto  al  contenido,  lenguaje  y aplicacion. 

— Que  se  ajuste  a los  requisitos  de  validez  y fiabilidad. 

H)  ^ Que  tipo  de  instrumentos  y recursos  podemos  utilizar? 

— Cuestionarios  ad  hoc 

— Cuestionarios  comercializados 

— Cuestionarios  de  caracter  cualitativo 

— Entrevistas 

— Escalas  de  actitudes 

— Autoinformes 

— Observation  sistematica 

Es  aconsejable  la  utilization  paralela  de  diversos  instrumentos  o tecnicas  de  recogi- 
da  de  information  que  combinen  la  obtencion  de  datos  cualitativos  y cuantitativos. 

Tercera  fase:  Andlisis  y valoraciott  de  la  informacion 

I)  ^ Que  aspectos  se  habran  de  tener  en  cuenta  en  el  analisis? 

— Los  criterios  establecidos  previamente  con  sus  descriptores  y standares. 

— La  triangulacion  de  la  informacion  obtenida  por  diferentes  procedimientos. 

J)  iQue  fases  incluye  el  analisis  y valoracion  de  los  resultados? 

— Podemos  distinguir  las  siguientes  fases: 

a)  Organization  y analisis  de  la  informacion  (datos  objetivos) 

b)  Valoracion  o interpretation  de  la  informacion  de  acuerdo  con  los  criterios  y/o 
estandares  previos. 

c)  Elaboration  de  conclusiones,  juicios  y recomendaciones  sobre  el  programa. 
Cuarta  fase:  Presentacion de  los  resultados 

K)  ^Cual  es  el  proposito  de  la  presentation  de  los  resultados? 

— Dar  a conocer  los  resultados  a las  audiencias  (conclusiones,  o juicios  de  valor). 

— Facilitar  la  adecuada  toma  de  decisiones  sobre  el  programa  mismo  o respecto  a 
su  futuro 

L)  ^ Que  aspectos  debe  tener  en  cuenta  un  informe  de  evaluacion? 

— Partir  del  criterio  de  funcionalidad  (proposito  de  comunicar  y transmitir  infor- 
macion) adecuando  su  extension  y redaction  a los  potenciales  receptores. 
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— Description  detallada  de  las  intervenciones  orientadoras  objeto  de  evaluacion  y 
del  contexto. 

— Description  de  la  evaluacion  efectuada. 

— Presentation  de  los  datos  y los  resultados  de  evaluacion. 

— Incluir  las  conclusiones  o juicios  de  valor  que  faciliten  la  oportuna  toma  de  deci- 
siones. 

— Conclusiones  y recomendaciones 

EVALUACION  DE  NECESIDADES  EN  EDUCACION  EMOCIONAL 

La  evaluacion  de  necesidades  se  puede  realizar  a traves  de  diferentes  estrategias  y 
tecnicas.  A modo  ilustrativo  presentamos  el  Cuestionario  de  Education  Emotional  (CEE), 
elaborado  por  el  GROP,  como  un  instrumento  util  tanto  para  el  analisis  de  necesidades 
como  para  la  evaluacion  de  la  eficacia  de  la  intervention.  Este  instrumento  esta  pensa- 
do  para  ser  cumplimentado  por  el  alumnado  y consta  de  68  items  distribuidos  en 
cinco  dimensiones:  emociones,  autoestima,  habilidades  socio-emocionales,  resolucion 
de  problemas  y habilidades  de  vida.  Se  dispone  de  una  version  reducida  y autocorre- 
gible  con  las  mismas  dimensiones  pero  con  solo  20  items  (CEE-R).  El  CEE  esta  disena- 
do  como  una  escala  de  tipo  Likert  en  la  que  los  sujetos  deben  mostrar  su  acuerdo 
con  las  afirmaciones  que  se  presentan  marcando  una  cruz  entre  las  respuestas  posibles 
— nunca,  algunas  veces,  con  frecuencia  y siempre — . La  puntuacion  de  cada  item  va  de 
0 a 3 puntos  respectivamente,  excepto  en  los  items  redactados  de  forma  negativa  en 
los  cuales  la  puntuacion  es  a la  inversa.  En  todas  las  puntuaciones  subtotales  y totales 
del  cuestionario  se  interpretan  los  valores  mas  altos  como  un  indicador  de  «buen» 
estado  emocional.  En  la  tabla  siguiente  se  presentan  algunos  ejemplos  de  items  del 
cuestionario. 


Emociones: 

— Me  vienen  ideas  a la  cabeza  que  no  me  dejan  dormir  por  la  noche. 

Autoestima: 

— Me  siento  a gusto  conmigo  mismo. 

Hab.  Socio-Emoc.: 

— Estoy  satisfecho  de  las  relaciones  que  tengo  con  mis  familiaies. 

Res.  de  Problemas: 

— Cuando  tengo  un  problema  intento  resolverlo. 

Hab.de  Vida: 

— Aprovecho  bien  mi  tiempo  libre. 

Un  analisis  estadistico  preliminar  sobre  el  CEE  puede  consultarse  en  Martinez 
Olmo  et  al.  (2000). 

UNA  EXPERIENCE  PRACTICA 

El  CEE  ha  sido  aplicado  a 8 centros  educativos  de  secundaria  con  un  total  de  538 
sujetos.  Se  ha  realizado  un  analisis  de  datos  que  incluye  descriptivos  para  cada  una  de 
las  dimensiones  y para  el  total,  se  ha  confirmado  la  normalidad  de  las  distribuciones, 
analisis  de  items,  etc.  Los  datos  de  la  fiabilidad  resultante  son: 
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Dimensiones  (y  numero  de  items) 

alpha  de  Cronbach 

Emociones  (11) 

0.82 

Autoestima  (17) 

0.79 

Hab.  Socio-Emocionales  (22) 

0.69 

Resolution  de  Problemas  (14) 

0.78 

Hab.de  Vida  (4) 

0.20 

Education  Emocional  (68) 

0.87 

En  la  matriz  de  correlaciones  entre  las  diversas  dimensiones  del  CEE  se  ha  podido 
observar  que  son  factores  muy  interrelacionados.  Aun  asi,  para  facilitar  el  diseno  de 
programas  espedficos  de  actuation  y la  puesta  en  practica  de  estrategias  pedagogicas 
seguimos  pensando  que  es  oportuno  establecer  una  subdivision  que  permita  clasificar 
y seleccionar  temas  a tratar  con  el  alumnado. 

No  se  han  detectado  diferencias  significativas  entre  las  muestras  de  los  distintos 
centros.  La  representation  grafica  de  la  media  de  cada  dimension  y del  total  aparece 
en  la  figura  siguiente.  Los  margenes  de  cada  barra  estan  calculados  para  un  intervalo 
de  confianza  del  95%. 


La  escasa  variabilidad  de  puntuaciones  dentro  de  cada  dimension  hace  pensar  que 
un  posible  valor  diagnostico  del  instrumento,  a nivel  individual,  consiste  en  la  detec- 
cion  de  aquellos  sujetos  que  sobresalen  por  encima  o por  debajo  de  la  mayoria.  Por 
otra  parte,  el  diseno  del  instrumento  tambien  se  ha  concebido  como  un  apoyo  y un  ele- 
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mento  de  contraste  a la  opinion  de  los  tutores,  que  son  quienes  mejor  pueden  conocer 
el  tipo  de  information  que  mide  el  cuestionario. 

En  las  dimensiones  analizadas  se  han  hallado  algunas  pequenas  diferencias,  aun- 
que  estadisticamente  significativas,  en  funcion  del  sexo  y la  edad.  Asi,  encontramos 
que  en  la  dimension  de  Emociones  las  chicas  obtienen  una  media  (1,86  puntos)  infe- 
rior a la  de  los  chicos  (2,16),  cuya  t=6,451  (p=0,000).  Es  decir,  los  chicos  manifiestan  en 
la  muestra  mayor  estabilidad  emocional  que  las  chicas.  En  esta  misma  dimension 
encontramos  diferencias  segun  la  edad  de  los  sujetos  (F=5,85,  p=0,003):  el  grupo  de  12 
anos  obtiene  una  media  superior  (2,10)  al  grupo  de  14  anos  (1,88).  Es  decir,  segun  este 
sondeo,  a los  12  anos  se  tiene  mayor  estabilidad  emocional  que  a los  14  anos.  Esto 
puede  relacionarse  con  la  turbulencia  de  la  adolescencia,  donde  a los  14  anos  se  esta 
en  uno  de  los  momentos  mas  conflictivos. 

En  la  dimension  de  autoestima  encontramos  diferencias  segun  la  edad 
(F=12,668,  p=0,000).  Las  respectivas  medias  son:  12  anos  = 2,09;  13  anos  = 1,96; 
14  anos  = 1,83.  Es  decir,  a medida  que  aumenta  la  edad,  en  el  intervalo  analizado, 
tiende  a disminuir  el  nivel  de  autoestima.  La  interpretacion  puede  ser  analoga  al 
parrafo  anterior. 

La  edad  tambien  se  ha  mostrado  como  factor  diferenciador  en  la  puntuacion  glo- 
bal del  cuestionario  (F=10,203;  gl=2;  p=0,000).  En  los  12  anos  la  media  es  de  2,06;  en 
los  13  es  de  1,96;  y en  los  14  es  de  1,90.  La  interpretacion  de  estos  datos  puede  ser,  en 
gran  medida,  identica  a la  expuesta  en  los  parrafos  anteriores. 

Aunque  estos  datos  podrian  indicar  que  es  a los  14  anos  cuando  mas  se  manifiesta 
la  necesidad  de  educacion  emocional,  de  acuerdo  con  el  principio  de  prevention  pri- 
maria  (intervenir  antes  de  que  surja  el  problema),  se  deberia  recomendar  iniciar  los 
programas  en  los  primeros  anos  de  escolaridad. 
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RESUMEN 

La  evaluation  de  programas  de  atencion  a nihos  con  discapacidades  ha  sido  impulsada  por 
los  cambios  acaecidos  en  los  planteamientos  de  la  education  especial.  Estos  cambios  han  con- 
tribuido  a que  se  de  un  mayor  enfasis  —del  que  existia  hasta  ahora—  en  que  la  investigation 
tenga  una  orientation  aplicada,  sea  util  y realista.  La  investigation  en  este  campo  debe  reali- 
zarse  en  el  amplio  contexto  de  las  escuelas  ordinarias  y de  los  servicios  educativos  que  la 
sociedad  ofrece.  Para  realizar  investigaciones  en  esta  area,  los  autores  suelen  coincidir  en  una 
serie  de  dificultades  metodoldgicas  relativas  a la  poblacion,  a la  representatividad  de  las 
muestras,  al  uso  de  instrumentos  de  medida  y evaluation,  a la  generalization  de  los  resulta- 
dos,  etc... 

ABSTRACT 

The  evaluation  of  programs  of  attention  to  handicaped  people  has  been  stimulated  by  the 
changes  in  the  special  education  approaches.  These  changes  have  contributed  to  give  a more  rea- 
listic and  useful  direction  to  investigation.  The  research  in  this  field  must  be  made  in  the  wide 
context  of  the  ordinary  schools  and  the  educative  services  provided  by  the  community.  To  make 
these  researches,  the  authors  usually  agree  in  some  methodological  difficulties  concerning  the 
population,  the  representativeness  of  the  research  population,  measurement  instruments  and 
evaluation  procedures,  the  generality  of  findings, ... 
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I.  MARCO  TEORICO 

La  education  especial  es  una  de  las  areas  educativas  que  mas  se  ha  desarrollado  en 
los  ultimos  anos,  sobre  todo  a partir  del  Informe  Wamock,  de  1978,  que  ha  sido  el  prin- 
cipal impulsor  de  dicho  desarrollo  (Wedell,  1985),  y en  Espana,  a partir  de  la  Ley 
Organica  1/1990,  de  3 de  octubre,  de  Ordenacion  General  del  Sistema  Educativo 
(LOGSE),  donde  se  configura  un  nuevo  modelo  de  education  especial  como  modali- 
dad  educativa  integrada  en  el  sistema  educativo  ordinario. 

Este  marco  legislativo  introduce  una  conception  y una  practica  nueva  en  relation 
con  las  necesidades  especiales  que  presentan  los  alumnos.  Ha  habido  un  cambio  en  los 
planteamientos:  del  modelo  centrado  en  el  nino  y en  su  diagnostico  diferencial  se  ha 
pasado  al  modelo  interactivo  de  desarrollo  del  nino.  En  este  modelo,  centrado  en  la 
interaction  entre  el  nino  y los  factores  ambientales,  es  preciso  tener  en  cuenta  los  dife- 
rentes  entornos  en  los  que  el  nino  vive  y aprende,  asf  como  la  forma  en  que  los  cam- 
bios  de  actitudes  afectan  al  desarrollo  y al  aprendizaje  del  nino.  Es  decir,  es  imposible 
estudiar  y comprender  el  desarrollo  del  nino  sin  tener  en  cuenta,  al  mismo  tiempo,  las 
numerosas  influencias  ambientales  que  le  afectan.  Este  cambio  enfatiza  la  relevancia 
para  la  education  ordinaria  de  conceptos  propios  de  la  education  especial  porque 
hace  referenda  a las  ayudas  que  se  deben  proporcionar  a los  ninos  y jovenes  para  su 
aprendizaje  y su  desarrollo. 

Una  consecuencia  muy  importante  de  este  nuevo  enfoque  ha  sido  la  necesidad  de 
evaluar  la  efectividad  de  las  practicas  educativas  en  el  logro  de  los  objetivos  (op.  cit.), 
es  decir,  surgio  la  necesidad  de  evaluar  la  efectividad  de  los  programas  de  atencion  a 
ninos  con  discapacidades. 

La  evaluation  de  programas  en  el  campo  de  la  Education  Especial  se  dirige  a eva- 
luar la  efectividad  de  los  programas  que  se  establecen  en  relation  con  la  atencion  a 
sujetos  con  necesidades  educativas  especiales  en  orden  a una  toma  de  decisiones  mas 
rational,  normalizadora  e integradora.  Es  preciso  resenar  que  los  modelos  de  evalua- 
tion de  programas  en  education  especial  son  los  mismos  que  para  la  education  ordi- 
naria (Mittler,  1985;  Garanto,  1989).  Precisamente  Garanto  (1989)  propone  una  serie  de 
estrategias  metodologicas  no  «especiales»  que  resultan  mas  idoneas  que  otras  para  la 
evaluation  de  programas  de  education  especial,  a saber: 

• Estrategias  descriptivas  y correlacionales,  ya  que  ofrecen  una  description  y 
explication  de  las  variables  que  intervienen  en  el  proceso,  son  mas  factibles  de 
utilizar  que  las  causales  (experimentales),  aunque  estas  no  tienen  porque  des- 
echarse.  El  diseno  experimental  se  presta  sobre  todo  para  la  realization  de  fines 
que  quedan  fuera  del  programa  inmediato  (Weis,  1975). 

• Es  conveniente  aplicar  programas  «altemativos»  al  grupo  de  control  y al  grupo 
experimental  para  evaluar  con  cual  de  ellos  los  objetivos  fijados  son  alcanzados 
con  mayor  exito,  de  tal  forma  que  pueda  ser  factible  la  toma  de  decisiones  sobre 
la  implantation  y generalization  del  mejor. 

• La  comparacion  pretest-postest  es  la  mas  idonea  cuando  solo  existe  un  unico 
programa.  Un  unico  grupo  y un  unico  programa  es  la  forma  mas  habitual  en  la 
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investigation  evaluativa,  dependiendo  en  ese  caso  la  validez  de  los  criterios  de 
medida  adoptados. 

• La  metodologfa  N = 1 en  education  especial  es  muy  adecuada.  Los  disenos  de 
sujeto  linico  (caso  unico,  intensivo,  intra-sujeto,  etc.)  se  aplican  en  grupos  de  suje- 
tos  o individuos  en  tanto  en  cuanto  estos  son  considerados  como  una  unidad. 

2.  ASPECTOS  METODOLOGICOS 

La  dimension  metodologica  constituye,  junto  con  la  dimension  conceptual-teorica, 
la  componente  clave  de  la  evaluation  de  programas  (Colas,  1993).  Los  procesos  meto- 
dologicos para  llevar  a cabo  la  evaluation  de  programas  cubren  una  extensa  gama  de 
posibilidades. 

Durante  los  ultimos  anos,  los  cambios  ocurridos  en  los  planteamientos  de  la  edu- 
cation especial  (Duenas,  1994)  han  contribuido  a un  cambio  en  el  enfoque  metodologi- 
co,  en  la  orientation  general  que  se  esta  produciendo  en  la  investigation  educativa  en 
dicho  campo.  En  particular,  se  da  un  mayor  entasis  del  que  existfa  hasta  ahora,  en  que 
la  investigation  tenga  una  orientation  aplicada:  es  necesario  evaluar  los  programas  y 
los  procesos  concretos  que  intervienen  en  la  education  especial.  La  investigation  debe 
ser  util  y realista,  y debe  analizar  los  problemas  en  toda  su  complejidad. 

En  muchos  procesos  de  evaluation  de  programas  de  education  especial  se  han 
encontrado  improvisaciones  y errores  metodologicos  (Tindal,  1985),  lo  que  puede  ser 
debido  al  afan  por  presentar  «hechos»  sin  preocuparse  de  su  calidad. 

La  evaluation  de  un  programa  de  education  especial,  puesto  que  es  decisiva  para 
una  toma  de  decisiones,  tiene  que  realizarse  con  seriedad  y rigor  metodologico,  reco- 
nociendose  como  un  proceso  verdaderamente  complejo  (Garanto,  1989). 

El  diseno,  la  implantation  y la  evaluation  de  un  programa  de  intervention  educa- 
tiva controlando  los  logros  de  los  alumnos  que  lo  siguen,  es  una  tarea  compleja  y diffcil, 
y mas  aun  cuando  va  dirigido  a los  alumnos  con  necesidades  educativas  especiales. 

Para  realizar  investigaciones  en  este  campo,  los  autores  suelen  coincidir  en  una 
serie  de  dificultades  metodologicas  (De  Miguel,  1986;  Schindele,  1985;  Duenas,  1994): 

a)  Variabilidad  de  la  poblacion 

La  poblacion  suele  presentar  las  caracterfsticas  de  ser  extremadamente  hetero- 
genea  y presentar  una  gran  variabilidad  dentro  de  los  grupos.  Existe  una  gran 
complejidad  a nivel  individual  causada  por  la  discapacidad  y el  tratamiento 
espetifico,  lo  que  suele  considerarse  como  la  mayor  dificultad  de  las  investiga- 
ciones en  education  especial  (Cronbach  y Snow,  1979)  y solo  puede  evitarse  a 
traves  de  los  disenos  que  minimizan  las  diferencias  individuates. 

b)  Problemas  de  muestras 

Las  dificultades  en  este  campo  son  serias  y muy  distintas:  problemas  de  elec- 
tion de  sujetos  al  azar  (aleatorizacion)  y dificultades  para  obtener  muestras 
representativas,  tanto  en  lo  que  se  refiere  al  numero  como  a una  determinada 
discapacidad  y para  la  constitution  de  un  adecuado  grupo  de  sujetos  espe- 
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cialmente  en  los  disenos  experimentales  referentes  a grupos  (Bryk  y Weisber, 
1977). 

c)  Imprecision  en  la  operativizacion  e instrumentalizacion  de  las  variables 

Cada  investigador,  al  efectuar  los  disenos,  no  solo  establece  una  definition 
«peculiar»  de  los  «handicaps»,  sino  que  parte  de  unos  criterios  e instrumentos 
de  medida  que  dificilmente  son  transferibles  de  una  situacion  a otra.  Ademas, 
es  preciso  tener  en  cuenta  el  cambio  que  se  ha  producido  en  los  criterios  para  la 
asignacion  de  ninos  con  discapacidad  psiquica,  el  sistema  de  clasificacion  no 
esta  ya  basado  solo  en  el  C.I.  sino  en  el  tipo  de  intensidad  de  los  apoyos  que 
requieren  las  personas  con  retraso  mental. 

d)  Uso  de  instrumentos  de  medida  y evaluacion 

Es  necesario  cuidar  al  maximo  la  election  y posterior  aplicacion  de  las  pruebas 
en  el  sentido  de  que  estas  deben  ser  adecuadas  a la  poblacion  a la  que  se  dirige 
el  programa  (Salvia  y Ysseldyke,  1981;  Duenas,  1990),  ya  que  a veces  los  proble- 
mas  surgen  ante  la  necesidad  de  adaptar  tests  y procedimientos  de  evaluacion  a 
la  discapacidad  especifica  del  sujeto,  debido  a la  falta  de  instrumentos  normati- 
vos  para  la  valoracion  de  ninos  con  discapacidades  y a la  multiplicidad  de  pro- 
gramas  de  intervencion  disponibles  (Ulrey  y Rogers,  1982). 

Hay  que  definir  cuidadosamente  el  objetivo  exacto  de  tal  evaluacion  y en  fun- 
cion  de  ello  establecer  consideraciones  detalladas  sobre  los  tests  existentes,  esta- 
blecimiento  de  criterios  de  puntuacion,  etc....,  pero  en  todo  ello  se  esta  muy  por 
debajo  de  los  estandares  de  tests  validos  (Hogg  y Raynes,  1987). 

e)  Ausencia  de  controles  apropiados 

Si  se  tienen  presentes  las  causas  o fuentes  de  invalidez,  peligro  de  errores  en  la 
validez  interna  considerando  las  variables  de  intervencion  y su  interaccion  o los 
efectos  de  la  regresion  (Wolf,  1979),  facilmente  se  deduce  que  los  trabajos  en  este 
campo  son  muy  vulnerables  a las  fuentes  de  invalidez.  Por  todo  ello,  a veces  se 
confunde  lo  que  es  una  variation  normal  de  los  fenomenos  y los  efectos  de  la 
intervencion  y / o situacion. 

f)  Dificultades  en  la  generalization  de  los  resultados 

Los  problemas  anteriores  relativizan  la  posibilidad  de  generalizar  los  resulta- 
dos. Solo  cuando  los  disenos  se  han  efectuado  con  una  tecnologfa  ampliamente 
implementada  y demostrada  empiricamente,  cabe  pensar  en  la  generalization. 
Por  el  propio  contexto,  gran  variabilidad,  en  el  que  se  producen  este  tipo  de 
investigaciones  y las  dificultades  para  replicar  los  experimentos,  esta  situacion 
es  ciertamente  poco  frecuente  (Brennan,  1984). 

g)  La  propia  naturaleza  de  la  educacion  especial 

El  proceso  mismo  de  educacion  especial,  por  su  naturaleza  dinamica,  por  su  com- 
plejidad  y multidimensionalidad,  por  su  singularidad  e individualidad,  puede 
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tener  una  gran  mfluencia  en  la  investigacion  de  la  evaluacion  de  la  intervencion 
(Me.  Reynolds  y Kearns,  1982).  Las  estrategias  y metodos  de  investigacion  en  este 
area  pueden  estar  tambien  delimitadas  por  el  contexto  institucional  en  el  que  la 
investigacion  se  realiza  y por  las  consideraciones  eticas  y morales  que  es  necesa- 
rio  tener  en  consideration  cuando  la  investigacion  concieme  a personas  con  con- 
diciones  excepcionales  en  su  desarrollo  y aprendizaje  (Schindele,  1985). 

3.  DIMENSIONES  DEL  PROGRAMA  A EVALUAR 

Para  nosotros,  la  evaluacion  constituye  un  proceso  continuo  que  tiene  lugar  en  los 
distintos  momentos  del  programa:  planificacion,  ejecucion  y resultados.  En  dicho  pro- 
ceso, los  objetivos  variaran  segun  sea  el  referente. 

Como  dimensiones  o contenidos  basicos  de  un  programa  de  atencion  a ninos  con 
discapacidades  suelen  senalarse  los  siguientes:  identificacion  de  necesidades;  diseno 
del  programa  y/o  programacion  de  objetivos;  implantacion  y ejecucion  del  programa; 
y,  evaluacion  del  programa  a traves  de  los  resultados  (Lieberman  y Me  Neil,  1982; 
Caride,  1989;  Duenas,  1994). 

La  identificacion  de  necesidades  es  fundamental  ya  que  define  el  entomo  o marco 
en  el  que  se  va  aplicar  el  programa,  detecta  la  naturaleza  de  las  necesidades  especiales 
de  los  alumnos  a los  que  se  dirige  el  programa  e identifica  carencias  apreciables  en  el 
contexto  que  pueden  poner  en  peligro  la  consecucion  de  los  objetivos. 

El  analisis  de  necesidades  ocurre  durante  la  fase  de  planificacion  de  un  programa, 
antes  de  que  se  haya  ofertado.  La  evaluacion  de  necesidades  constituira  el  punto  de 
partida  para  identificar  situaciones  deficitarias  e insatisfactorias  que  reclamen  solu- 
tion; es  un  proceso  complejo  a traves  del  cual  se  deciden,  teniendo  en  cuenta  los  recur- 
sos,  las  prioridades  de  actuation  (Tejedor,  1990).  Esta  fase  sirve  de  base  a las  decisiones 
de  planificacion  para  definir  sus  objetivos. 

El  diseno  del  programa  y/o  la  planificacion  de  objetivos,  debe  ser  adecuado  a las 
necesidades  detectadas,  y prever  los  recursos  materiales  y humanos  — staff  de  profe- 
sionales — necesarios  para  la  consecucion  de  las  metas  y los  objetivos  propuestos. 

Los  objetivos,  en  el  area  que  nos  ocupa,  pueden  ser  muy  diversos:  constatar  los 
logros  obtenidos  por  los  alumnos  sometidos  a un  programa  de  intervencion  educati- 
va;  conocer  cual  es  la  perception  que  tienen  las  personas  que  participan  en  un  deter- 
minado  programa;  recoger  information  para  fomentar  la  reflexion  critica  de  los 
procesos  para  tomar  decisiones  adecuadas  a cada  situation  especffica  por  parte  de  las 
personas  implicadas  en  el  proceso. 

Implantacion  y ejecucion  del  programa:  El  desarrollo  del  programa  puede  encon- 
trar  dificultades  no  previstas  o descubrir  vfas  altemativas  consideradas  mas  adecua- 
das al  nivel  de  conocimiento  de  la  realidad;  por  ello,  la  evaluacion  de  proceso  se 
convierte  en  una  dimension  especialmente  util  en  un  ambito  donde  con  gran  frecuen- 
cia  es  mas  relevante  el  como  que  el  cuanto  o el  que,  sobre  todo  cuando  se  trate  de 
mejorar  estos  dos  ultimos  aspectos. 

Evaluacion  del  programa  o de  resultados:  La  evaluacion  de  producto  tiene  por 
finalidad  conocer  hasta  que  punto  el  programa  ha  satisfecho  las  necesidades  del  grupo 
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al  que  pretendia  servir  utilizando  una  combination  amplia  de  tecnicas  para  obtener 
una  vision  global  de  los  resultados  del  programa.  A nivel  individual,  un  resultado 
puede  considerarse  como  de  exito,  o fracaso,  si  el  programa  ha  satisfecho,  o no,  una 
necesidad  previamente  diagnosticada  (Stuflebeam  et  al.,  1987).  Este  tipo  de  evalua- 
tion informa  acerca  de  la  calidad  y eficacia  del  programa. 

En  sintesis,  todas  estas  dimensiones  nos  proporcionan  la  siguiente  information: 
necesidades  que  existen  y hasta  que  punto  los  objetivos  propuestos  satisfacen  las  nece- 
sidades;  description  del  programa  de  intervention  y analisis  conceptual  de  la  adecua- 
cion  de  la  propuesta  elegida  a los  objetivos;  grado  de  realization  del  plan  de 
intervention  propuesto  y description  de  las  modificaciones;  resultados  obtenidos  y 
grado  en  que  se  han  satisfecho  las  necesidades. 

4.  CONSIDERACIONES  FINALES 


En  consonancia  con  los  nuevos  planteamientos  de  la  education  especial  ante- 
riormente  resenados,  la  investigation  en  este  campo  debe  realizarse  en  el  amplio  con- 
texto  de  las  escuelas  ordinarias  y de  los  servicios  educativos  que  la  sociedad  ofrece 
(Mittler,  1985). 

Determinar  que  tipo  de  programas  de  intervention  o practicas  educativas  son  mas 
eficaces  para  satisfacer  las  necesidades,  tanto  escolares  como  sociales,  en  clases  ordi- 
narias constituye  una  de  las  preocupaciones  mas  importantes  en  este  area  (Slavin  y 
Madden,  1986). 

La  evaluation  de  programas  en  education  especial  debe  plantearse  desde  una 
perspectiva  amplia  e integral,  analizando  previamente  la  entidad  de  las  metas  perse- 
guidas,  dandose  coherencia  entre  las  metas  del  programa  y demandas  / expectati- 
vas  / necesidades,  teniendo  en  consideration  las  caracteristicas  del  contexto 
personal  / social  en  el  que  el  programa  se  desarrollara.  A esta  vision,  el  modelo  CIPP 
de  Stuflebeam  ha  dado,  a nuestro  juicio,  una  respuesta  notablemente  adecuada,  por 
ser  el  modelo  en  el  que  aparece  explicitamente  la  orientation  hacia  la  toma  de  deci- 
siones,  proporcionando  information  util  para  la  misma. 

- Se  debe  concretar  de  que  programa  se  trata  en  cada  caso,  cual  es  el  curriculum 
aplicado,  que  roles  desempenan  los  distintos  profesionales,  que  procedimientos  y tec- 
nicas se  aplican,  cuales  son  las  actitudes  de  los  profesionales  y de  la  comunidad  edu- 
cativa.  Las  conclusiones  de  la  evaluation  deberan  restringirse  a ese  programa  y ese 
contexto,  pudiendo  generalizar  los  resultados  con  certeza  solo  cuando  la  replication 
de  los  mismos  y su  comparacion  con  otros  programas  resulten  positivos  sistematica- 
mente  (Verdugo,  1989). 

A pesar  de  la  diversidad  tanto  conceptual  / teorica  como  metodologica  que  existe 
en  la  evaluation  de  programas  de  atencion  a ninos  con  discapacidades,  todos  ellos 
participan  de  un  objetivo  comun:  generar  conocimiento  cientifico-evaluativo  a traves 
de  una  metodologia  que  intenta  ser  cientifica  y que  adopta  distintas  formulas  pero  que 
comparte  criterios  comunes  tales  como  racionalidad,  contrastabilidad,  sistematiza- 
cion,  caracter  practico,  etc...  (Colas,  1993). 
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Finalmente,  y siguiendo  en  parte  a Schindele  (1985),  proponemos  unas  orientacio- 
nes  metodologicas  que  pueden  servir  de  guia  para  realizar  una  mejor  investigation  en 
este  campo: 

1.  Aplicacion  de  disenos  de  investigation  mas  adecuados 

La  aplicacion  de  disenos  inadecuados  es  con  frecuencia  la  causa  de  que  los 
resultados  sean  poco  relevantes  y significativos.  Es  preciso  aumentar  la  aplica- 
cion de  disenos  experimentales  de  caso  unico,  series  temporales,  disenos  intra- 
sujeto  (Whitehead,  1982;  Me  Reynolds  y Kernan,  1982;  De  Miguel,  1986; 
Duenas,  1990).  Estos  disenos  parecen  en  la  mayoria  de  los  casos  particularmen- 
te  relevantes  para  temas  espetificos  y cuestiones  de  investigation  en  esta  area 
para  afrontar  la  complejidad  de  los  temas  investigados  y la  multiplicidad  de  los 
objetivos  correspondientes. 

2.  Utilization  de  la  metodologia  de  investigation  tanto  cuantitativa  como  cualitativa 
Cuando  los  problemas  de  la  investigation  son  complejos  son  necesarios  disenos  * 
de  investigation  mixta  (Duenas,  1990),  que  parecen  especialmente  apropiados  a 
proyectos  en  los  que  ambas  metodologias  son  necesarias  y donde  la  recogida  y 
evaluation  de  datos  estan  dirigidas  tanto  a los  grupos  como  a la  investigation 
intensiva  de  situaciones  individuates.  Murphy  y Bryan  (1980)  presentan  la  com- 
bination de  disenos  multiples  como  una  practica  altemativa  a la  valoracion  y 
evaluation  en  education  especial. 

3.  Aplicacion  mas  adecuada  y mas  sistematica  de  la  metodologia  cualitativa. 

La  importancia  de  la  aproximacion  cualitativa  (etnografica,  ecologica,  investiga- 
cion-accion,  ...)  en  education  especial  ha  sido  subray ada  por  un  gran  numero 
de  especialistas.  Este  tipo  de  investigaciones  se  preocupa  mas  por  los  procesos 
que  por  los  resultados  y tiende  a analizar  los  datos  inductivamente  (Schindele, 
1985). 

4.  Aplicacion  creciente  de  los  principios  de  la  investigation-action. 

La  investigation-action  en  este  campo  parece  muy  adecuada  para  la  evalua- 
tion de  metodos  instructivos,  materiales  y programas  (Wolery  y Harris,  1982). 
Esta  aproximacion  implica  una  optima  posibilidad  para  la  aplicacion  de  los 
resultados  de  investigation  porque  elimina  la  distancia  entre  el  investigador  y 
el  profesor. 

En  slntesis,  la  metodologia  de  investigation  en  el  area  que  nos  ocupa  esta  necesita- 
da,  en  gran  medida,  de  un  desarrollo  mas  sistematico,  tanto  en  aproximaciones  y dise- 
nos como  en  evaluaciones  estadisticas.  Muchas  investigaciones  son  aiin  poco  validas, 
tienen  lagunas  en  su  significado  y escasa  relevancia  en  la  practica  educativa.  Deberian 
promoverse  investigaciones  interdisciplinares  y discusiones/ debates  sobre  los  objeti- 
vos y los  metodos  de  las  investigation  y sobre  su  impacto  tanto  sobre  los  sujetos  con 
necesidades  educativas  especiales  como  sobre  las  practicas  educativas. 
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Planteamientos  que  vienen  siendo  utilizados  en  la 
realizacion  de  evaluaciones  en  los  Departamentos 

del  area  de  MIDE 


PRESENTACION 


Como  se  indico  en  la  presentation  del  presente  volumen,  el  numero  monografico 
se  encuentra  estructurado  en  tres  grandes  partes.  Las  dos  anteriores  fueron  encarga- 
das  a diferentes  profesores  del  area  con  la  pretension  de  que  ofrecieran  su  vision  per- 
sonal bien  sobre  planteamientos  metodologicos  generates,  en  la  primera  parte,  bien  sobre 
planteamientos  metodologicos  especialmente  adecuados  a la  evaluacion  de  cierto  tipo  de  progra- 
mas,  en  la  segunda. 

La  tercera  parte,  que  ahora  comienza,  se  concibio  como  un  medio  para  ofrecer  al 
lector  el  mapa  metodologico  del  area  en  lo  relativo  a la  evaluacion  de  programas.  Con  la 
intention  de  que  presentara  una  cierta  unidad,  se  elaboro  un  esquema  que  sirviera  de 
referenda  a la  hora  de  que  los  diversos  departamentos  presentaran  su  aportacion, 
aunque  dejando  abierta  la  necesaria  flexibilidad  para  evitar  cualquier  rigidez. 

Si  bien  en  el  documento  remitido  a los  departamentos  se  indicaba,  de  modo  expre- 
so,  que  «No  se  trata  de  informes  de  investigation  sino  de  trabajos  de  sintesis,  realiza- 
dos  por  una  persona  encargada  de  ello  en  cada  Departamento»,  las  respuestas  que 
encontrara  el  lector  ponen  de  relieve  una  gran  diversidad,  algo  que  si  por  un  lado, 
pone  de  relieve  la  riqueza  del  area,  aunque,  por  otro  probablemente  hara  mas  dificil 
para  el  lector  alcanzar  la  representation  del  mapa  metodologico  del  area. 

A continuation  se  presentan  las  aportaciones  realizadas  por  profesores  de  las  uni- 
versidades  de  Alicante,  Barcelona,  Cadiz,  Complutense,  Granada,  Jaen,  Malaga,  Mur- 
cia, Navarra,  Pais  Vasco,  Salamanca,  Santiago  de  Compostela,  Sevilla  y UNED. 
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Maria  Cristina  Cardona  Molto1 

Departamento  de  Psicologia  de  la  Salud 


TlTULO  DEL  PROGRAMA:  ESTRATEGIAS  PARA  LA  MEJORA  Y ADAPTACION  DE 
PROGRAM  AS  INSTRUCTIVOS2 


JUSTIFICACION  DEL  PROGRAMA 

Una  tendencia  cada  vez  mas  arraigada  en  el  campo  de  la  educacion  es  la  inclu- 
sion de  los  alunmos  con  necesidades  educativas  especiales  en  las  aulas  ordinarias. 
Esta  tendencia  se  basa  en  el  supuesto  de  que  el  aula  ordinaria  es  el  lugar  idoneo  para 
la  educacion  de  la  mayoria  de  los  estudiantes,  tanto  de  los  mas  como  de  los  menos 
capaces,  por  su  poder  para  potenciar  su  desarrollo  personal,  academico  y social.  Los 
recientes  cambios  demograficos  en  la  poblacion  escolar  han  hecho  aumentar,  por 
otro  lado,  el  numero  de  estudiantes  con  riesgo  de  fracaso  escolar,  con  lo  que  la  diver- 
sidad  y heterogeneidad  en  las  aulas  se  ha  convertido  en  la  norma,  mas  que  en  la 
exception.  Este  estado  de  cosas,  se  ha  ido  extendiendo  progresivamente  hacia  nive- 
les  superiores  de  ensenanza,  en  la  medida  en  que  esta  se  ha  ido  generalizando.  Por 
tanto,  en  relativamente  pocos  anos,  las  condiciones  de  trabajo  de  los  profesores  han 
cambiado  y,  con  ello,  sus  responsabilidades  docentes  han  ido  en  aumento. 

La  mayoria  de  los  expertos  en  el  campo  estan  de  acuerdo  en  que  para  hacer  fren- 
te  a las  nuevas  demandas  son  necesarios  cambios  profundos.  Cambios  en  el  concep- 


1 Miembros  del  equipo  de  investigacion:  Maria  R.  Bermejo  Garcia,  Rosa  Ma  Carda  Ros,  Pedro  F. 
Gomez  Canet,  Juan  P.  Gonzalez  Gomez,  Maria  C.  Gonzalez  Gomez,  Maria  E.  Gonzalez  Sanchez,  Marfa  D. 
Jimenez  Alegre,  Ana  Lattur  Devesa,  Antonio  Valles  Arandiga. 

2 Este  programa  forma  parte  del  proyecto  de  investigacion  «Estrategias  y Practicas  Inclusivas  de 
Adaptacion  de  la  Ensenanza  en  Centros  Educativos  de  la  Provincia  de  Alicante»,  referencia  GV99-56-1-07, 
subvencionado  por  la  Conselleria  de  Cultura,  Educacion  y Ciencia  de  la  Generalitat  Valenciana  dentro  del 
programa  Proyectos  de  Investigacion  Cientffica  y Desarrollo  Tecnologico  1 + D «Generalitat  Valenciana». 
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to  mismo  de  education  y cambios  en  el  papel  y la  funcion  de  la  escuela  y de  sus  pro- 
fesores  (Ferguson,  1997).  El  cambio  operado  en  poco  tiempo  en  las  escuelas  afecta 
tanto  al  que  como  al  como  los  profesores  ensenan  (Delpit,  1996).  Sin  embargo,  mien- 
tras  las  instituciones  educativas  han  cambiado,  no  lo  han  hecho  al  mismo  ritmo  las 
practicas  instructivas  de  los  profesores,  que  en  muchos  aspectos  permanecen  obsole- 
tas.  Los  cambios,  dicen  los  expertos,  van  a depender  de  la  voluntad  y de  la  habilidad 
de  los  profesores  para  alterar  sus  creencias  y percepciones,  y tambien  sus  practicas. 
La  literatura  de  investigation  sugiere  que  esta  no  es  una  tarea  facil  y que  el  profeso- 
rado  muestra  una  cierta  resistencia  al  cambio.  Esta  resistencia  se  atribuye  a inseguri- 
dad  y/o  falta  de  competencia  profesional  (Schumip  y Vaughn,  1991;  Semmel, 
Abernathy,  Butera  y Lesar  (1991),  a la  insuficiente  disponibilidad  de  apoyos  (Who- 
lery  et  al.,  1995)  o simplemente  a la  opinion  de  que  los  cambios  instructivos,  aunque 
deseables,  no  son  posibles  en  la  practica  (Minke,  Bear,  Deemer,  Griffin,  1996;  Scott, 
Vitale  y Masten,  1998). 

Este  equipo  de  investigation  arguye  que  los  cambios  no  pueden  venir  dados  por 
inercia  o simple  imposition,  sino  mas  bien  como  resultado  de  las  acciones  normati- 
vas  que  se  emprendan.  El  profesorado  necesita  no  solo  mejorar  su  formacion,  sino 
ademas  que  se  le  ofrezcan  oportunidades  para  experimentar  por  si  mismo  situacio- 
nes  de  exito  y experiencias  de  aprendizaje  desde  su  puesto  de  trabajo.  Necesita,  en 
definitiva,  el  soporte  necesario  para  un  desarrollo  profesional  sostenido  con  expe- 
riencias de  colaboracion  entre  universidad  y centros  educativos  (Blanton,  Griffin, 
Winn  y Pugach,  1997).  Asi,  este  programa  surge  con  la  pretension  de  contribuir  al 
desarrollo  profesional  del  profesorado  de  los  niveles  obligatorios  de  la  ensenanza 
desde  sus  propios  centros,  a traves  de  su  participation  en  un  programa  de  formacion 
en  estrategias  de  mejora  y adaptation  de  los  programas  instructivos.  Sus  objetivos 
basicos  son:  (1)  explorar  las  creencias  y percepciones  del  profesorado  en  tomo  a una 
pedagogia  inclusivo  integradora  de  las  diferencias  del  alumnado  en  el  aula,  y anali- 
zar  como  los  profesores  interpretan  y transforman  sus  creencias  como  resultado  de 
su  participation  en  el  programa;  (2)  identificar  el  tipo  de  adaptaciones  de  la  ense- 
nanza que  hacen  los  profesores  de  education  infantil,  primaria  y secundaria  y como 
las  juzgan;  (3)  ensenar  al  profesorado  procedimientos  para  adaptar  los  programas,  y 
valorar  la  eficacia  del  uso  separado  y combinado  de  estrategias  (generates  e indivi- 
duates) de  adaptation  de  la  ensenanza;  (4)  dotarle  de  procedimientos  y tecnicas  para 
disenar,  implementar  y evaluar  adaptaciones  especfficas  para  aquellos  alumnos  con 
muy  bajo  o muy  alto  rendimiento  para  quienes  las  estrategias  de  adaptacion  general 
pudieran  resultar  no  satisfactorias;  (5)  por  ultimo,  presentar  a la  administration  edu- 
cativa  autonomica  propuestas  de  mejora  en  el  sistema  de  formacion  y desarrollo 
profesional  docente  y estrategias  de  atencion  a la  diversidad  en  los  centros  viables  y 
eficaces. 

El  programa  tiene  una  funcion  formativa,  sumativa  y tambien  socio-polftica,  como 
se  desprende  de  sus  objetivos.  Se  encuadra  en  un  paradigma  eclectico  por  su  uso  com- 
binado de  procedimientos  metodologicos  cuantitativos  y cualitativos,  y se  inspira  en 
un  modelo  proceso-producto  que  va  mas  alia  de  los  meros  resultados  con  la  preten- 
sion de  que  estos  influyan  en  la  toma  de  decisiones  futuras. 
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METODOLOGIA  DE  EVALUACION 

En  el  curso  academico  entrante  2000-2001,  inicia  el  programa  su  segunda  fase  de 
desarrollo.  En  esta  fase  se  hallan  involucrados  25  centros  publicos  de  educacion  pri- 
maria  de  la  provincia  de  Alicante  y un  total  aproximado  de  75  profesores  voluntaries 
(tres  por  centro:  1 profesor  que  implementara  el  programa,  1 profesor  emparejado  por 
nivel  que  servira  de  control,  un  profesor  de  pedagogfa  terapeutica)  y 1.500  alumnos, 
de  ellos,  casi  un  centenar,  son  alumnos  con  necesidades  educativas  especiales.  El  pro- 
grama en  su  segunda  fase  se  caracteriza  por  (a)  la  implementacion  de  adaptaciones 
generales  en  la  ensenanza  de  una  materia  fundamental  del  curriculum,  (b)  su  segui- 
miento,  y (c)  en  funcion  de  la  evaluacion  resultante,  el  reajuste  del  programa  y/o  la 
introduccion  de  adaptaciones  individuates  (eligiendo  2 alumnos  por  clase,  uno  de 
muy  alto  y otro  de  muy  bajo  rendimiento,  con  sus  respectivos  controles).  Los  elemen- 
tos  o componentes  esenciales  que  gufan  el  proceso  son:  (1)  la  evaluacion  basada  en  el 
curriculum  (EBC),  (2)  el  uso  de  una  metodologfa  de  las  lecciones  altamente  estructura- 
do  (15'  instruccion  directa,  25  minutos  trabajo  en  parejas  o pequeno  grupo,  10'  con- 
trol), (3)  la  evaluacion  continua  y normativa,  (4)  el  soporte  al  profesor  en  el  aula.  El 
programa  incluye  un  proceso  de  formacion  del  profesorado  participante  en  la  metodo- 
logfa y las  tecnicas  que  exige  la  implementacion  del  programa  que  se  llevara  a cabo  a 
traves  de  seminarios  de  trabajo  (uno  por  trimestre)  en  la  universidad  y de  la  constitu- 
cion  de  grupos  de  trabajo  en  cada  centro  de  profesores  (CEFIRE)  de  la  provincia, 
coordinados  por  un  profesor  de  la  universidad.  Los  pormenores  del  programa  se 
presentan  con  mayor  detalle  en  la  Tabla  1. 

INFORME 

Los  destinatarios  o personas  interesadas  en  conocer  el  grado  de  consecucion  de  las 
metas  y los  resultados  obtenidos  eri  el  programa  son  los  profesores  generalistas  y 
especialistas  de  los  niveles  obligatorios  de  la  ensenanza,  administradores  educativos  y 
personal  de  apoyo  (inspectores,  servicios  psicopedagogicos,  asesores  de  los  CEFIRES), 
asf  como  los  responsables  de  las  DGs  de  Ordenacion  e Innovacion  Educativa  y Forma- 
cion  del  Profesorado  de  la  Conselleria  de  Cultura,  Educacio  i Ciencia  de  la  Comuni- 
dad  Valenciana.  Aunque  la  cobertura  del  programa  es  sectorial  (nivel  provincial),  sus 
caracterfsticas  y datos  mas  relevantes  se  diseminaran  a traves  de: 

• Jomadas  y talleres  de  trabajo  en  los  CEFIREs  de  la  provincia  y de  la  Comunidad 
Valenciana. 

• Creacion  de  grupos  y seminarios  permanentes  de  trabajo. 

• Elaboracion  y difusion  de  informes  tecnicos. 

• Ponencias  y comunicaciones  en  congresos  de  ambito  nacional  e intemacional 
(AIDIPE,  EERA,  AERA,  etc.). 

• Publicacion  de  manuscritos  en  revistas  de  alto  impacto  nacional  e intemacional 
(Revista  de  Investigacion  Educativa,  American  Educational  Research  Toumal, 
Toumal  of  Teacher  Education,  etc.). 
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Ademas,  paralelamente  al  curso  de  desarrollo  del  programa,  se  elaboraran  materia- 
les  de  soporte  como  videos,  gufas  didacticas  y material  docente  y para  la  evaluation 
diferenciado  por  materias.  De  momento,  los  productos  generados  en  la  fase  pre-expe- 
rimental  del  programa  han  sido  la  elaboration  de  diversos  cuestionarios  y escalas 
disenadas  ad  hoc  que,  junto  con  los  primeros  informes,  se  daran  a conocer  en  breve. 

BIBLIOGRAFIA 

Blanton,  Griffin,  Winn  y Pugach  (1997).  Teacher  education  in  transition:  Collaborative  pro- 
grams to  prepare  general  and  special  educators.  Denver:  Love  Publishing. 

Cardona,  M.C.  (2000).  Escala  de  Adaptaciones  de  la  Ensenanza  (ESAE).  Formas  General  y 
Especffica.  Universidad  de  Alicante,  Dpto.  Psicologfa  de  la  Salud:  Alicante. 
Cardona,  M.C.,  Gomez,  P.F.  y Gonzalez  Sanchez,  M.E.  (2000).  Cuestionario  de  Percepcio- 
nes  del  Profesor  acerca  de  la  Pedagogi'a  lnclusiva.  Universidad  de  Alicante,  Dpto.  Psico- 
logfa de  la  Salud:  Alicante. 

Cardona,  M.C.,  Lattur,  A.  y Gonzalez  Gomez,  J.P.  (2000).  Cuestionario  de  Datos  Generates  del 
Profesor  y del  Centro.  Universidad  de  Alicante,  Dpto.  Psicologfa  de  la  Salud:  Alicante. 
Delpit,  L.D.  (1996).  Other  people's  children:  Cultural  conflict  in  the  classroom.  New  York: 
New  Press. 

Ferguson,  D.L.  (1997,  marzo).  Changing  tactics:  Research  embedding  inclusion  reforms 
within  general  education  restructuring  efforts.  Trabajo  presentado  a la  reunion  anual 
de  la  American  Educational  Research  Association.  Chicago,  IL. 

Minke,  K.M.,  Bear,  G.G.,  Deemer,  S.A.  y Griffin,  S.M.  (1996).  Teachers'experiences  with 
inclusive  classrooms:  Implications  for  special  education  reform.  The  Journal  of  Spe- 
cial Education,  30(2),  152-186. 

Schumm,  J.S.  y Vaughn,  S.  (1991).  Making  adaptations  for  mainstreamed  students: 
General  classroom  teachers' perspectives.  Remedial  and  Special  Education,  12(4),  18-27. 
Scott,  B.J.,  Vitale,  M.R.  y Masten,  W.G.  (1998).  Implementing  instructional  adaptations 
for  students  with  disabilities  in  inclusive  classrooms.  A literatura  review.  Remedial 
and  Special  Education,  19(2),  106-119. 

Semmel,  M.L.,  Abernathy,  T.V.,  Butera,  G.  y Lesar,  S.  (1991).  Teacher  perceptions  of 
Regular  Education  Initiative.  Exceptional  Children,  58,  9-24. 

Wholery,  M.,  Werts,  M.G.,  Caldwell,  N.K.,  Snyder,  E.D.  y Lisowski,  L.  (1995).  Expe- 
rienced teachers'  perceptions  of  resources  and  supports  for  inclusion.  Education  and 
Training  in  Mental  Retardation  and  Developmental  Disabilities,  March,  15-26. 


NOTA: 

Este  equipo  de  investigation  quiere  agradecer  a los  CEFIREs  de  Alcoy,  Alicante,  Benidorm,  Elche,  Elda  y 
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TABLA 1 

METODOLOGfA  DE  LA  EVALUAClON  DEL  PROGRAMA 
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Rodriguez  y M.  Paz  Sandin 

TlTULO  DEL  PROGRAMA:  EVALUACION  DEL  PROYECTO  EPIKOUROS  DE 
INSERCION  SOCIOLABORAL  DE  INMIGRANTES 


OBJETO  EVALUADO 

El  proyecto  Epikouros  del  Ayuntamiento  de  Barcelona  representa  un  modelo  de 
servicio  especifico  de  orientacion  para  la  insercion  sociolaboral  dirigido  a personas 
procedentes  de  la  inmigracion  exterior  y con  situation  socioeconomica  deficitaria.  El 
proyecto  pretendia  responder  a las  necesidad  peculiares  que  estas  personas  tienen  en 
su  proceso  de  insercion  sociolaboral  en  la  ciudad  de  Barcelona.  Su  finalidad  fue  acer- 
car  a los  colectivos,  asociaciones  y personas  inmigrantes  los  distintos  servicios  de 
insercion  sociolaboral  normalizados  del  Ayuntamiento  de  Barcelona,  a la  vez  que  faci- 
litar  la  coordination  y adaptation  de  estos  a las  necesidades  diferenciales  que  tiene 
esta  poblacion.  El  proyecto  atendio  a un  total  de  235  personas  inmigrantes. 

OBJETIVOS  DE  LA  EVALUACION 

La  finalidad  de  la  evaluacion  se  ha  centrado  en  valorar  los  efectos  del  proyecto  en 
los  servicios  que  han  participado,  en  las  personas  que  han  sido  usuarias  directas  de  las 
actividades  prevista  en  el  proyecto  y en  las  asociaciones  y colectivos  de  inmigrantes 
que  participaron  en  su  desarrollo. 

Las  cuestiones  que  interesaron  responder  con  el  estudio  evaluativo  se  referian  a 
preguntas  tales  como  <j_que  puede  aprenderse  del  proyecto  que  sirviera  para  otros  pro- 
yectos  futuros?,  ^en  que  medida  el  proyecto  ha  sido  util  para  satisfacer  la  necesidad 
que  motivo  su  creadon?  ^era  realmente  necesario  el  proyecto?,  ^para  quien  era  necesa- 


O 

ERIC 


599 


622 


rio?,  ^como  deberian  funcionar  los  servicios  normalizados  para  que  sean  receptivos  a 
las  necesidades  de  los  inmigrantes? 

En  concreto  se  pretendio: 

A.  Analisis  de  la  eficacia  del  proyecto:  represento  una  evaluacion  de  resultados  centra- 
da  en  los  objetivos  internos  del  proyecto.  Se  analizaron  los  resultados  del  proyecto  sobre 
los  usuarios  de  los  servicios,  las  siguientes  cuestiones  generales  orientaron  la  evalua- 
cion: 

— <jEn  que  medida  se  han  logrado  los  objetivos  previstos  para  las  personas  inmi- 
grantes que  participaron  en  el? 

— iQue  utilidad  tuvo  el  proyecto  para  estas  personas? 

— ^En  que  medida  las  personas  que  han  pasado  por  el  proyecto  se  han  incorpora- 
do  a la  red  normalizada  de  utilization  de  los  servicios  de  insercion  sociolaboral 
del  Ayuntamiento  una  vez  finalizado  el  proyecto? 

B.  Valoracion  de  la  efectividad  e impacto  institucinal  del  proyecto : represento  una  eva- 
luacion centrada  en  los  analisis  de  los  efectos  del  proyecto  sobre  los  servicios  de  inser- 
cion sociolaboral  del  Ayuntamiento  de  Barcelona  y en  las  asociaciones  de  inmigrantes. 
Se  trato  de  valorar  el  logro  de  los  objetivos  extemos  del  proyecto  relacionados  con  las 
necesidades  sociales  que  originaron  su  creation.  Las  cuestiones  de  evaluacion  genera- 
les que  guiaron  este  analisis  fueron  las  siguientes: 

— ^Como  ha  incidido  el  proyecto  en  el  estado  de  opinion  y sensibilidad  de  las  per- 
sonas responsables  los  distintos  niveles:  asociaciones  de  inmigrantes,  personal 
tecnicos  y monitores-formadores  de  los  servicios  de  insercion  sociolaboral  del 
Ayuntamiento? 

— ^Cual  es  el  modelo  funcional  para  la  insercion  sociolaboral  de  personas  inmi- 
grantes que  se  defiende  desde  los  distintos  niveles  (usuarios  y usuarias  indivi- 
duales,  colectivos  de  inmigrantes  y responsables  de  los  servicios  de  insercion 
sociolaboral  del  Ayuntamiento)? 

— iQue  necesidades  surgen  y que  modificaciones  se  plantean  en  los  servicios  de 
insercion  sociolaboral  del  Ayuntamiento  para  hacerlos  receptivos  a las  necesida- 
des y caracterfsticas  peculiares  de  las  minorias  de  personas  inmigrantes? 

— iQue  necesidades  plantean  y que  sugerencias  ofrecen  las  asociaciones  y perso- 
nas inmigrantes  para  acceder  a los  servicios  de  insercion  sociolaboral? 

C.  Realizar  una  propuesta  de  modelo  de  servicio  de  insercion  sociolaboral  que  tomara 
en  consideration  el  aprendizaje  y resultados  obtenidos  en  el  proyecto  Epikouros. 

FUNCION  DE  LA  EVALUACION 

La  demanda  explicita  que  se  hace  de  evaluacion  obedecio  a una  funcion  eminente- 
mente  sumativa  <j,que  se  habia  aprendido  de  la  experiencia  una  vez  finalizada  que 
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pudiera  servir  para  otros  proyectos  de  objetivos  similares?  Implfcitamente  la  evalua- 
tion pretendio  cubrir  una  funcion  socio-polftica  de  concienciacion  del  personal  de  los 
servicios  municipales  de  las  deficiencias  institucionales  para  responder  a las  exigen- 
ces que  demandaba  la  nueva  realidad  multicultural  del  mundo  laboral.  No  obstante 
estas  funciones,  el  planteamiento  participativo  que  se  hizo  del  proceso  de  evaluation 
— si  bien  en  la  practica  mas  limitado  que  en  su  diseno  original — provoco  procesos 
formativos  para  algun  personal  de  los  servicios  de  las  instituciones  que  participaron. 

PARADIGMA 

La  evaluation  se  ha  realizado  desde  un  enfoque  descriptivo-interpretativo  en  el 
cual  era  basico  la  reconstruction  de  procesos.  La  parte  descriptiva  se  obtiene  a partir 
de  las  opiniones  de  las  personas  que  participaron  en  el  proyecto,  bien  como  usuarias 
bien  como  tecnicos  o responsables  de  asociaciones,  y la  interpretativa  a partir  de  las 
inferences  que  se  hacen  de  los  significados  atribuidos. 

MODELO 

La  evaluacion  que  se  presenta  puede  clasificarse  como  una  evaluacion  orientada  a 
los  objetivos  del  programa  pero  no  tanto  con  la  finalidad  de  conocer  si  se  han  logrado 
o no  los  objetivos  del  proyecto  sino  de  elaborar  una  propuesta  de  atencion  y asesora- 
miento  en  la  insertion  sociolaboral  de  inmigrantes  a partir  de  la  experiencia  obtenida 
en  el  proyecto. 

METODOLOGIA 

Diseno.  Se  planted  inicialmente  un  diseno  de  evaluacion  participativo  en  el  que 
interviniera  las  principals  audiencias:  representantes  de  colectivos  de  inmigrantes  y 
de  personal  de  las  distintos  servicios  municipales  que  habfan  intervenido  en  proyecto. 
Consideraciones  socio-polfticas  tanto  al  initio  como  durante  el  desarrollo  limito  consi- 
derablemente  los  niveles  de  participation  previstos. 

Tecnicas  de  recogida  de  inf orma cion:  El  plan  de  recogida  de  information  corres- 
ponde  a una  evaluacion  de  naturaleza  descriptiva,  donde  se  toma  en  consideracion  los 
siguientes  elementos: 

— se  identificaron  las  fuentes  de  information  segun,  los  datos  necesarios  para  res- 
ponder a las  cuestiones  de  evaluacion  del  estudio:  personas  inmigrantes  usua- 
rias del  proyecto,  personal  de  los  servicios  normalizados  de  insercion 
sociolaboral,  personal  tecnico  del  SOLI  (servicio  de  orientacion  sociolaboral), 
los  directores  y gestores  del  proyecto  y los  responsables  de  los  distintos  colecti- 
vos de  inmigrantes  que  participaron.  Tambien  fueron  fuentes  valiosas  de  infor- 
mation el  analisis  de  los  «productos»  y documentos  generados  por  el  proyecto. 

— se  seleccionaron  las  muestras  para  cada  una  de  las  fuentes  de  informacion 
excepto  para  los  responsables  y gestores  directos  del  proyecto  y responsables  de 
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los  colectivos  y asociaciones  de  inmigrantes  que  fueron  tornados  en  considera- 
tion su  totalidad.  Se  utilizaron  distintas  tecnicas  de  muestreo:  aleatorio  estratifi- 
cado  para  las  personas  inmigrantes  (32  de  un  total  de  200)  y opinatico  por 
cuotas  para  los  especialistas  de  los  distintos  servicios  (22  tecnicos  de  los  servi- 
cios  de  un  total  indeterminado). 

— estrategias  de  recogida  de  information:  la  entrevista  semiestructurada  abierta 
constituyo  la  fuente  fundamental  de  obtencion  de  informacion.  Se  prepararon 
un  total  de  siete  guias  de  entrevistas  atendiendo  a las  distintas  fuentes  de  infor- 
macion. Se  realizaron  mediante  entrevista  personal  y en  los  casos  permitidos  se 
llevo  a cabo  su  grabacion. 

Criterios  de  valoracion:  En  el  Cuadro  1 se  recogen  los  criterios  de  evaluation  que 
se  utilizaron  para  las  finalidades  de  la  evaluacion  clasificados  segun  fuente  de  infor- 
macion. 

Referencias.  Los  terminos  de  las  comparaciones  realizadas  fundamentalmente  fue- 
ron de  tipo  absoluto,  si  bien  como  es  de  esperar  en  este  tipo  de  programa,  no  es  que 
estuvieran  establecidos  a priori  niveles  de  logro  a alcanza.  Se  tuvieron  en  cuenta  en 
algunos  casos  los  niveles  que  se  explicitaron  en  el  diseno  del  programa,  los  siguientes 
ambitos  de  referencia: 

a)  Las  personas  inmigrantes  de  las  minorfas  etnico-culturales  que  han  participado 
en  el  proyecto  como  usuarios  y usuarias  de  los  distintos  servicios. 

b)  El  SOLI  como  servicio  especffico  de  orientation  para  la  insertion  sociolaboral  de 
inmigrantes  promovido  por  el  proyecto. 

c)  Los  diferentes  colectivos  de  inmigrantes  que  han  participado  en  el  proyecto 
como  asociaciones  que  representan  a diferentes  minorfas  etnico-culturales.  En 
concreto  fueron:  dos  colectivos  magrebfes  (ATIME  y Ibn  Batuta),  el  colectivo 
Dominicano,  el  Centro  Filipino,  el  colectivo  Paquistanf  y el  colectivo  AEJGE  de 
Guinea  Ecuatorial. 

d)  El  personal  del  las  actividades  y departamentos  de  los  distintos  servicios  muni- 
cipales  que  intervinieron  en  el  proyecto  (Servicios  Sociales,  Barcelona  Activa  y 
el  Instituto  Municipal  de  Education  de  Barcelona) 

e)  Gestores  y disenadores  del  proyecto. 

Tecnicas  de  registro  y analisis  de  la  informacion.  El  analisis  de  la  informacion:  se 
realizo  mediante  el  programa  SPSS  para  el  analisis  descriptivo  univariado  y bivariado 
de  los  datos  cuantitativos,  y se  usd  el  programa  Etnograph  para  organizar  y codificar 
los  datos  en  el  analisis  de  contenido  de  la  informacion  cualitativa. 

Tipo  de  decisiones.  No  se  planted  la  evaluacion  asociada  a ningun  tipo  de  decision 
relativa  al  proyecto  puesto  que  practicamente  se  habfa  acabado  cuando  se  inicio  la 
evaluacion  y no  se  pretendfa  repetirlo.  Como  resultado  de  la  evaluacion  se  realiza  la 
propuesta  de  un  nuevo  modelo  de  servicio  que  atendiera  a las  necesidades  particula- 
rs que  tienen  las  personas  inmigrantes  en  su  insercion  sociolaboral.  La  utilidad  insti- 
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CUADRO 1 

CRITERIOS  DE  EVALUAClON 


Ambitos 

DE 

anAlisis 

anAlisis  DELA  EFICACIA 
Resultados  respecto  objetivos 
intemos 

anAusis  de  LA  EFECTIVIDAD  e IMPACTO 
Resultados  respecto  objetivos  extemos 

USUARIOS/  AS: 

• Analisis  descriptivo  de  los  usua- 
rios 

• Nivel  de  autonomfa  para  el  uso  futuro  de  los 
servicios  del  ayuntamiento. 

Personas 

• Participacion  en  los  servicios  e 

* Modelo  y funcionalidad  de  insercion  que  socio- 

inmigrantes 
que  participaron 
en  el  proyecto. 

itineraries 

• Valoracion  del  SOLI 

• Nivel  subjetivo  de  logro 

• Valoracion  de  servicios  utilizados 

laboral  para  inmigrantes. 

ASOCIACIONES 

• Grado  de  conocimiento  sobre  los 

• Cambios  y mejoras  en  servicios  para  adaptarse  a 

DE 

servicios  de  insercion. 

las  necesidades  de  los  inmigrantes:  modelo  fun- 

INMIGRANTES 

• Valoracion  de  la  experiencia  de  su 
participacion  en  el  proyecto. 

cional  de  insercion  sociolaboral 
• Valoracion  y expectativas  sobre  los  servicios. 

SERVICIOS 

• Conocimiento  de  las  asociaeiones 

• Valoracion  del  modelo  de  orientation  (SOLI) 

SOCIALES: 

sobre  los  servicios  de  insercion 

• Efectos  del  proyecto  sobre  el  uso  de  los  servicios 

• SOLI 

sociolaboral  del  ayuntamiento 

en  el  futuro  por  las  asociaeiones. 

• Efectos  del  proyecto  sobre  los  servicios  munici- 
pales 

• Coordination  entre  servicios 

• Propuesta  de  modelo  funcional  de  insercion 
sociolaboral  para  inmigrantes 

• Valoracion  de  la  utilidad  de  sus  objetivos 

• Valoracion  de  su  papel  en  el  conjunto  de  servi- 

•  TALLERES 

• Nivel  de  logro  de  los  usuarios  y 

cios 

PRELABORALES 

usuarias. 

• Modelo  de  education  multicultural 

IMEB 

• Caracterfsticas  de  la  poblacion 

• Cambios/ modificaciones  a introducir  para 

(Clases  de 

atendida  y relation  con  las  asocia- 

adaptarse  a las  necesidades  de  personas  inmi- 

Castellano) 

ciones. 

• Valoracion  de  la  experiencia  de  su 
participacion  en  el  proyecto. 

grantes 

• Efectos  del  proyecto  sobre  el  servicio 

SERVICIOS 

• Grado  de  conocimiento  y valora- 

•  Cambios/ modificaciones  a introducirse  para 

BARCELONA 

cion  del  proyecto  Epikouros. 

hacer  los  servicios  mas  receptivos  a las  personas 

ACTIVA 

• Valoracion  que  se  hace  de  las  per- 

inmigrantes 

(Acciones  JOB, 

sonas  inmigrantes  y nivel  de 

• Modelo  funcional  de  insercion  sociolaboral  para 

Escuelas  Talleres, 

F.  Ocupacional. 
Plan  de  Ocupacion) 

logro  conseguido. 

• Razones  de  los  resultados  positi- 
ves y negativos. 

inmigrantes. 
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tucional  de  los  resultados  de  la  evaluation  pueden  ser  importantes  si  el  modelo  de 
servicio  que  se  propone  tuviera  los  apoyos  politicos  y gestores  necesarios  para  que 
fuera  tornado  en  consideration  en  el  desarrollo  de  una  polftica  de  insercion  sociolabo- 
ral  de  inmigrantes. 

Informe  de  evaluation:  Informe  escrito  y presentation  oral  de  los  resultados  a los 
responsables  del  proyecto.  Del  informe  destaca  el  capftulo  dedicado  a la  propuesta  de 
un  Modelo  de  servicios  de  insercion  sociolaboral  para  inmigrante  que  se  extrae  de  los 
resultados  obtenidos  de  evaluation  (IASI:  servicio  de  information  y asesoramiento 
sobre  la  insercion  sociolaboral).  Se  intentaron  dos  presentaciones  orales  del  proyecto 
atendiendo  a los  planteamientos  de  una  evaluation  participativa:  una,  con  los  colecti- 
vos  de  inmigrantes  y otras  con  el  personal  de  las  instituciones  municipales  participan- 
tes  directamente  relacionadas  con  las  actividades  del  proyecto.  Dichas  presentaciones 
constituirian  unos  espacios  privilegiados  para  el  debate  sobre  el  modelo  de  servicio 
propuesto,  a la  vez  que  reflexion  y sensibilization  ante  los  problemas  especfficos  que 
tiene  la  poblacion  inmigrante  para  su  insercion  sociolaboral  y las  posibles  soluciones 
que  pueden  abordarse  desde  las  distintas  instancias  institucionales.  Distintas  razones 
limitaron  estas  presentaciones  a una  unica  presentation  con  los  gestores  el  programa. 
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TITULO  DEL  PROGRAMA:  ESTUDIO  COMPARATIVO  DE  ACCIONES  FORMATI- 
VAS  PARA  JOVENES  MEDIANTE  UN  PROCESO  DE  EVALUACION  EX-POST, 
EN  EL  CONTEXTO  DE  LAS  INICIATIVAS  COMUNITARIAS  DE  EMPLEO 


I.  INTRODUCCION 

El  Estudio  comparative  de  acciones  formativas  para  jovenes  es  la  concretion  de 
una  action  prevista  por  la  Asociacion  Sindrome  de  Down  de  Cadiz  y Bahia  «Lejeune»1 
integrada  en  el  Proyecto  INTERCOM,  que  se  inserta  en  el  marco  de  la  Iniciativa 
Comunitaria  Empleo-Horizon,  y contempla  diferentes  actuaciones  dirigidas  a la  capa- 
citacion  sociolaboral  de  jovenes  de  la  Asociacion  mediante  la  experimentacion  de 
diversas  modalidades  de  formacion  profesional:  Formacion  Profesional  Ocupacional, 
Programas  de  Garantia  Social,  Segundas  Practicas  y Empleo  con  Apoyo. 

Con  la  inclusion  en  su  proyecto  de  un  estudio  comparative  la  Asociacion  se  marco 
los  siguientes  objetivos: 

• Comparar  con  suficiente  garantia  los  elementos  que  se  han  tenido  en  cuenta 
para  el  diseno  de  las  distintas  actividades  formativas. 

• Evaluar  los  resultados  obtenidos. 

• Establecer  conclusiones  validas  que  permitan  a las  Administraciones  responsa- 
bles  adecuar  las  convocatorias  oficiales  a aquellos  condicionantes  que  garanti- 


1 Para  el  desarrollo  del  estudio  la  Asociacion  decidio  contar  con  un  equipo  de  evaluacion  de  la  Uni- 
dad  para  la  Calidad  de  la  Universidad  de  Cadiz,  para  lo  cual  se  desarrollo  un  convenio  de  colaboracion,  ges- 
tionado  por  la  Fundacion  Universidad  Empresa  de  la  Universidad  de  Cadiz. 
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cen  una  mayor  eficiencia  en  las  acciones  formativas,  y a su  vez,  resuelvan  las 
necesidades  educativas,  sociales  y laborales  de  los  jovenes  que  hart  desarrollado 
estas  acciones. 

El  estudio  en  si  ha  sido  conceptualizado  respondiendo  a los  interrogantes  expresa- 
dos  en  la  siguiente  figura: 


• 4 Que  vamos  a estudiar?  (EL  OBJETIVO) 

• i Como  lo  vamos  a estudiar? 

Un  Programa  que  consta  de  actividades 
formativas  para  lograr  la  insercion 
laboral  de  jovenes 

Mediante  un  proceso  de  EVALUACI6N 

Evaluacion  de  programa 

iQuienes  vamos 
a evaluar? 

iPara  que  vamos 
a evaluar? 

iComo  vamos  a 
evaluar? 

iCuandova  aser 
evaluado? 

Un  equipo  de 
Agentes 
Extemos 

Para  conocer  lo 
que  ha  sucedido 
(productos  y 
procesos)  y poner 
en  marcha  procesos 
de  mejora 

Sumergiendonos  en  el 
contexto  para  recoger 
datos  e interpretar 
conjuntamente  lo  que 
esta  aconteciendo  y lo 
acontecido 

Cuando  las  acciones 
han  terminado  o 
estan  terminando 

Figura  1.  Conceptualizacion  de  la  evaluacion  en  «Estudio  Comparativo  de  Acciones  Formativas 
para  }ovenes». 


Como  se  desprende  de  la  figura  anterior,  el  «Estudio  Comparativo  de  Acciones 
Formativas  para  Jovenes»  (Rodriguez,  G.;  Garcia,  O.;  Garcia,  M.:  1999)  se  ha  desarro- 
llado como  una  evaluacion  externa  de  programa,  de  caracter  ex  - post,  desde  una  opti- 
ca cualitativa. 

2.  JUSTIFICACION  DE  LA  EVALUACION 

La  tarea  de  afrontar  la  evaluacion  de  este  proyecto  desde  la  condicion  de  agentes 
externos  al  contexto,  tomo  como  punto  de  partida  un  proceso  de  descubrimiento  con- 
junto  del  objeto  de  evaluacion,  cuyo  fruto  fue  el  siguiente: 

• Acciones  formativas  en  si  mismas  (Planificacion,  Adecuacion...) 

• Acciones  formativas  en  su  desarrollo  (Sesiones,  Dificultades...) 

• Acciones  formativas  en  sus  resultados  (Resultados,  Productos  e Impactos) 

Este  objeto  de  evaluacion  y el  momento  en  que  la  Asociacion  decide  realizarla 
— cuando  la  mayor  parte  de  las  acciones  formativas  que  constituian  el  programa  habian 
finalizado  o estaban  finalizando — , dieron  lugar  al  caracter  ex-post-facto  de  la  misma. 
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En  el  marco  en  el  que  se  desenvuelve  la  Iniciativa  Comunitaria  Empleo-Horizon, 
el  foco  de  atencion  habria  que  dirigirlo  a Resultados,  Productos  e Impactos  de  las  Accio- 
nes  Formativas,  terminos  que  conceptualizamos  a partir  de  lo  referido  por  la  Contu- 
sion Europea  (1997): 

— Productos  o realizaciones:  Son  los  materiales  y servicios  construidos  y directamen- 
te  producidos  por  el  programa  o por  el  curso.  Responden  a objetivos  operacio- 
nales. 

— Resultados:  Es  el  impacto  inicial  (o  especffico)  del  programa.  Responden  a la 
consecucion  de  los  objetivos  especfficos. 

— Efectos:  Es  el  impacto  del  programa  a largo  plazo  (o  impacto  general).  Respon- 
den a la  consecucion  de  los  objetivos  generales. 

No  obstante,  entendemos  que  la  utilidad  de  la  evaluacion  — teniendo  en  cuenta  el 
objeto  de  la  misma — no  vendrfa  solamente  determinada  por  la  concretion  de  una 
serie  de  datos  cuantificables,  sino,  mas  bien,  por  un  conocimiento,  interpretacion  y 
valoracion,  fruto  de  un  analisis  acerca  de  si  los  resultados  y efectos  obtenidos  estan  en 
relation  con  los  objetivos  del  proceso  disenado  e implementado  para  la  consecucion 
de  los  mismos,  y a su  vez  por  la  valia  de  estos  procesos. 

La  motivation  que  inspira  a la  Asociacion,  para  hacer  una  petition  de  evaluacion, 
no  se  reduce  a conocer  si  los  metodos  de  Formation  Profesional  empleados  para  la 
insertion  socioprofesional  de  jovenes  son  utiles,  sino  tambien  a encontrar  que  elemen- 
tos  han  de  ser  mejorados,  a traves  de  la  interpretacion  acerca  de  lo  que  ha  acontecido  a 
lo  largo  de  la  experiencia.  Por  todas  estas  razones  se  empleo  para  este  estudio  una 
metodologfa  de  corte  cualitativo,  para  establecer  no  solo  los  resultados,  sino  a su  vez 
para  fijar  y aprender  cuales  han  sido  los  procesos  de  formation,  ayudando  asf,  a los 

participantes  a comprender  sus  acciones. 

/ 

3.  JUSTIFICACION  METODOLOGICA 

La  metodologfa  de  evaluacion  esta  fundamentada  en  un  proceso  de  investigation 
acerca  de  lo  que  acontece  en  este  marco,  asf  como  en  la  busqueda  de  altemativas  de 
analisis  que  contribuyan  siempre  a la  calidad  de  los  programas.  En  nuestro  diseno  de 
evaluacion  destacan  tres  elementos  claves  para  el  analisis  metodologico:  negotiation, 
contextualizacion  y cualificacion. 


Negociacion 

Contextualizacion 

Cualificacidn 

Intercambio  de 
significados  e intenciones 
con  las  personas  que 
formulan  la  petition  de 
una  evaluacion  u otro  tipo 
de  estudio. 

Respuesta  a las  necesidades 
especfficas  de  cada  uno  de 
los  colectivos  que  demandan 
una  evaluacion  u otro  tipo 
de  estudio. 

Facilitar  a los  implicados 
en  los  procesos  de  evaluacion, 
las  herramientas  necesarias 
para  el  desarrollo  propio  de 
un  conocimiento  e 
interpretacion  sobresu 
contexto. 
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Estos  tres  elementos  establecen  como  principio  general  una  humanization  de  los 
procesos  de  evaluation  o de  cualquier  otro  estudio  relacionado  con  la  calidad  de  sus 
acciones.  De  aquf  se  genera  a su  vez  un  diseno  metodologico  adecuado  a cada  uno  de 
los  contextos.  En  nuestro  caso  desarrollamos,  a continuacion,  el  elaborado  para  la  Aso- 
ciacion «Lejeune»  en  su  parte  mas  practica,  centrandonos  en  las  diferentes  fases.  Para 
cada  una  de  ellas  han  sido  varias  las  estrategias  utilizadas;  trataremos  en  este  apartado 
de  reflejar  «el  por  que  y el  como»  de  su  election. 

3.1.  Diseno  Metodologico 

El  diseno  metodologico  se  establecio  en  fases  con  el  objeto  de  establecer  la  logica 
del  proceso  de  evaluacion.  fistas  fases  fueron: 

A)  Acceso  al  campo. 

B)  Descripcion  de  la  muestra. 

C)  Temporalizacion 

D)  Diseno  de  la  recogida  de  informacidn. 

E)  Andlisis  de  los  datos. 

F)  Emision  de  Resultados 

A)  El  Acceso  al  Campo  es  el  proceso  por  el  cual  nos  hemos  aproximado  a la 
informacion  relevante  para  nuestra  evaluacion;  asf  como  el  establecimiento  de  los 
contactos  directos  con  el  personal  tecnico  y directivos  de  la  Asociacion,  con  los  cua- 
les  se  realizaron  desde  el  principio  y en  todo  momento  relaciones  de  informacidn 
bidireccionales.  El  Proyecto  «Evaluacion  de  la  Acciones  Formativas  para  Jovenes 
de  Lejeune»  establecfa  las  bases  de  acceso  a la  informacidn,  las  caracterxsticas  gene- 
rales  del  tipo  de  estudio  y la  evaluacion  que  debfamos  realizar.  A su  vez  la  docu- 
mentacion  base  y especffica,  relacionada  con  las  acciones  formativas  que  la 
Asociacion  «Lejeune»  posefa  ha  sido  basica  para  un  completo  analisis  de  las  accio- 
nes desarrolladas. 

B)  Descnpcum  de  l_a  muestra.  La  seleccion  de  diferentes  implicados  para  la  mues- 
tra realizada  por  la  Asociacion,  de  cara  a poder  cumplir  y desarrollar  los  objetivos 
previstos  en  su  proyecto,  nos  parecio  muy  acertada,  por  lo  que  nos  sumamos  a ella. 
Los  implicados  y su  relacion  para  con  los  proyectos  se  indican  a continuacion: 

• Alumnos  asistentes  a las  acciones  formativas  y practicas  de  empleo;  los  destina- 
tarios  de  las  diferentes  acciones  los  constituyen  jovenes  con  una  edad  minima 
de  16  anos,  segun  las  caracteristicas  generates  exigidas  en  el  programa  en  la 
modalidad  denominada  de  integracion,  lo  que  supone  que  a los  mismos  pueden 
acceder  alumnos  con  discapacidad  y sin  ella,  asi  cono  jovenes  en  situacion  de 
deprivacion  sociocultural.  Del  total  de  61  jovenes  seleccionados,  el  50%  se  inclu- 
ye  en  la  discapacidad  psiquica  y el  50%  restante  son  jovenes  en  situacion  de  des- 
ventaja  cultural  y economica. 
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• Monitores  de  los  cursos,  encargados  de  la  docencia,  asumiendo  competencias 
de  formacion  profesional  especificas.  Su  eleccion  fue  cubierta  sobre  la  base  de  la 
experiencia  en  las  distintas  acciones.  El  numero  de  monitores  fue  de  13,  y su  dis- 
tribution fue  de  7 en  formacion  ocupacional  y 6 en  formacion  basica. 

• Mediadores  sociolaborales,  presentes  en  todo  el  proceso  de  integracion  de  la 
persona  con  necesidades  especiales;  una  de  sus  principales  funciones  es  la  de 
dinamizar  en  los  procesos  de  insercion  de  los  jovenes.  La  formacion  de  estos 
mediadores  se  realizo  a traves  de  un  curso  impartido  por  la  misma  Asociacion 
«Lejeune».  Participaron  un  total  de  10  mediadores. 

• Familias  de  los  alumnos,  uno  de  los  pilares  fundamentals  para  la  total  integra- 
cion de  estos  jovenes  y el  maximo  aprovechamiento  de  las  diferentes  ensenan- 
zas.  Estuvieron  implicados  un  total  de  61  familias. 

• Tutores  laborales  de  las  practicas  en  la  formacion  y de  las  practicas  laborales, 
personal  de  las  empresas  o Administraciones  que  constituyen  el  referente  de 
los  jovenes  en  sus  practicas.  Desarrollaron  funciones  de  tutorizacion  34  per- 
sonas. 

• Empresarios  y Administraciones  Publicas  donde  los  jovenes  realizan  sus  practi- 
cas de  formacion  y que  tambien  son  beneficiarios  indirectos  de  los  procesos  de 
formacion  en  los  jovenes.  En  el  proceso  habia  11  empresarios  involucrados. 

Resulta  significativo  resaltar  que,  dadas  las  caracteristicas  numericas  de  la  pobla- 
cion  implicada  en  el  proceso  de  evaluacion,  la  muestra  resultante  alcanzo  la  totalidad 
de  la  citada  poblacion. 

O La  Temvora  lizacion  de  los  procesos  permite  a las  partes,  conocer  el  momento 
preciso  en  el  que  las  acciones  de  evaluacion  se  encuentran,  y sobre  todo  adquiere  un 
compromiso  de  action  abierta  al  continuo  proceso  de  negociacion  entre  las  partes.  En 
este  estudio  las  actividades  establecidas  en  la  temporalizacion  segun  las  caracteristicas 
del  trabajo  a realizar  fueron: 


Mayo 

Acuerdo  con  la  Asociacion  en  diseno  de  evaluacion 

. Junio 

Preparacion  de  instrumentos  y estrategia  de  recogida  de  datos 

Junio/Julio 

Recogida  de  datos 

Julio! Agosto 

Andlisis  de  datos 

2°  sem.  Agosto 

Elaboracion  de  informe  preliminar 

la  sem.  Sept. 

Discusion  de  informe  preliminar 

3°  sem.  Sept. 

Elaboracion  de  informe  definitivo 

4“  sem.  Sept. 

Presentacion  de  informe  definitivo 

D)  Diseno  de  la  recogida  de  jnfonrmcuyn : Previa  a la  recogida  de  information  y la 
consiguiente  construction  de  instrumentos  a tal  efecto,  se  initio  un  proceso  de  con- 
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crecion  de  dimensiones  y categorfas,  dadas  las  caracterfsticas  peculiares  del  contex- 
to.  Otro  elemento  decisivo  para  llevar  a cabo  la  citada  construction  es  la  existencia 
escasa  de  indicadores  — los  existentes  ademas  son  de  corte  cuantitativo — para  la 
evaluation  de  estos  programas  en  el  marco  de  las  Iniciativas  Comunitarias  de 
Empleo. 

Una  primera  revision  documental,  nos  condujo  a la  delimitation  de  cuatro  momen- 
tos  relevantes  en  el  transcurso  de  las  acciones  formativas,  de  las  practicas  laborales  y 
de  los  procesos  de  insertion  sociolaboral.  Estos  momentos  fueron  tornados  como 
dimensiones  generales: 

• Contexto  y justification  como  momento  preparatorio  y de  diseno. 

• Initio  como  momento  de  planificacion  una  vez  puestas  en  marcha  las  acciones. 

• Desarrollo  como  procesos  de  implementation  de  las  acciones. 

• Resultados,  efectos  e impacto  como  productos  resultantes  de  las  acciones  desarro- 
lladas  a lo  largo  del  Proyecto  INTERFACE,  INTERCOM  y los  Programas  de 
Garantia  Social. 

A continuation  se  desgloso  cada  una  de  las  dimensiones  en  categorfas  relevantes 
para  la  recogida  de  information  y el  analisis  de  la  misma.  Dado  que  el  proceso  de  eva- 
luation era  a su  vez  un  estudio  que  debfa  permitir  la  comparacion  entre  las  diferentes 
formulas  de  formation  para  la  insertion  laboral  de  jovenes;  resulto  un  modelo  catego- 
rial  que  permitfa  por  un  lado  descubrir  los  elementos  caracterfsticos  de  cada  una  de 
ellas,  a la  vez  que  aportaba  elementos  clave  para  la  comparacion. 

Sistema  de  Categorfas  General 


1.  ASDOWN 

2.  MOTIVAClON  para  la  evaluaciOn 

3.  CONTEXTO  Y JUSTIFICAClON  DE  INTERFACE 

4.  CONTEXTO  Y JUSTIFICAClON  DE  PGS 

5.  CONTEXTO  Y JUSTIFICAClON  DE  INTERCOM 

6.  CONTEXTO  YJUSTIFICAClONDE  LAS  ACCIONES  FORMATIVAS 

7.  PLANIFICACION  DE  LA  ENSENANZA: 

8.  DESARROLLO  DE  LA  ENSENANZA 

9.  EVALUAClON  DE  LA  ENSENANZA 

10.  RELACIONES 

11.  PRACTICAS  EN  EMPRESA 

12.  EMPLEO  CON  APOYO 

13.  PROPUESTAS  DE  MEJORA 


Partiendo  de  este  sistema  de  categorfas  y atendiendo  a las  peculiaridades  del  con- 
texto, de  la  muestra,  y del  programa,  se  disenaron  las  herramientas  e instrumentos 
evaluativos  que  a continuation  se  describen. 
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• Andlisis  de  Documentos.  Para  el  analisis  de  estos  documentos  se  realizo  una  pri- 
mera  lectura,  una  toma  de  contacto  con  las  diferentes  programaciones,  memo- 
rias,  proyectos,  artfculos  de  prensa,  etc.  La  cantidad  de  informacion  y sobre 
todo  la  ordenacion  inicial  en  los  documentos  aportados  por  la  Asociacion,  nos 
llevo  a realizar  un  diseno  de  carpetas  con  todo  el  material  de  las  acciones  for- 
mativas  para  poder  realizar  un  posterior  analisis  mas  exhaustivo  de  los  datos  a 
analizar.  Posteriormente  el  proceso  de  recogida  de  datos  de  los  documentos  se 
realizo  en  base  al  primer  sistema  de  categorfas.  A traves  de  un  diseno  de  planti- 
llas  de  entrada  de  categorfas,  se  iba  apuntando  un  codigo  numerico  adjudicado 
previamente  a cada  documento,  el  cual  nos  indicaba  donde  se  hallaba  la  infor- 
macion mas  relevante  en  nuestro  estudio  para  cada  una  de  las  acciones  forma- 
tivas. 

• Cuestionarios : Dada  la  diversidad  de  informacion  que  querfamos  recabar,  las 
caracterfsticas  especificas  de  cada  una  de  los  informantes  con  los  que  querfamos 
contactar,  y sobre  todo  para  conseguir  en  los  resultados  un  mayor  margen  de 
fiabilidad,  se  realizaron  dos  tipos  de  cuestionario:  Cuestionario  Telefonico  y Cues- 
tionario  Presencial. 

Con  relacion  a los  Cuestionarios  Telefonicos  se  procedio  a su  realization  despues 
del  analisis  de  documentos,  y de  los  contactos  mantenidos  con  la  Asociacion  «Lejeu- 
ne»  y los  agentes  implicados. 

El  Cuestionario  Telefonico,  dividido  a su  vez  en  dos,  estaba  destinado  a los  tutores 
laborales  y a los  empresarios  de  los  jovenes;  se  estructura  en  torno  a los  siguientes  cri- 
terios  de:  Contexto,  Desarrollo  de  las  Practicas,  Evaluacion,  Relaciones,  insertion  labo- 
ral  y Propuestas  de  Mejora. 

El  Cuestionario  Presencial  destinado  a las  familias  de  los  jovenes  participantes  de  las 
acciones  formativas  se  estructura  sobre  la  base  de:  Vinculaciones,  Valoraciones  de  las 
Acciones  Formativas,  Docencia  y Seguimiento,  Valoracion  de  las  Practicas  Laborales, 
Valoracion  del  Empleo  con  Apoyo  y Evaluacion. 

• Entrevistas  Semiestructuradas.  Se  disenaron  dos  tipos  de  entrevistas  semiestruc- 
turadas,  una  de  caracter  individual,  destinada  a los  alumnos  y otra  de  caracter 
grupal  destinada  a los  monitores  y mediadores.  La  peculiaridad  de  la  entrevista 
grupal  radicaba  en  establecer  la  recogida  de  informacion  con  las  todas  los 
docentes  al  mismo  tiempo;  creemos  que  asf  las  valoraciones  a realizar  seran 
mucho  mas  ricas  dado  que  su  trabajo  no  se  desarrollo  por  separado.  Los 
aspectos  tratados  para  la  entrevista  grupal  fueron:  Actividad  Profesional, 
Alumnos,  Planificacion  de  la  ensenanza,  Desarrollo  del  curso,  Evaluacion, 
Relaciones,  Practicas  Formativas  y Laborales,  Empleo  con  Apoyo  y Necesida- 
des. 

Con  relacion  a la  Entrevista  Semiestructurada  individual  al  alumno,  se  centro  en: 
Acceso  al  curso,  Desarrollo  de  los  cursos,  Profesorado,  Evaluacion,  Relaciones  y Nece- 
sidades  (Valoraciones). 
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E)  Analisis  de  los  datos:  Para  el  analisis  de  la  informacion  se  siguio  el  proceso  plan- 
teado  por  Rodriguez,  Gil  y Garcia  (1996),  a traves  de  tres  etapas:  reduccion  de  datos, 
obtencion  de  resultados  y verificacion  de  conclusiones.  El  analisis  de  los  datos  se  reali- 
zo  utilizando  ficheros  de  transcripciones  de  las  entrevistas  y los  resultados  del  cuestio- 
nario  — para  que  posteriormente  fueran  reconocidos  por  el  programa  NUDIST  4.0 
(Rodriguez  y otros,  1995) — . En  la  primera  etapa  de  reduccion  de  datos  se  identificaron 
y clasificaron  las  unidades  relevantes  y significativas  a traves  de  la  categorization  y 
codificacion,  para  lo  cual  se  adopto  el  sistema  general  de  categorias  que  tomo  como 
base  la  Tabla  de  Categorias  disenada  para  el  analisis  de  documentos,  y codificacion  del 
material  de  las  entrevistas  y cuestionarios.  De  cara  a facilitar  el  proceso  de  categoriza- 
cion para  su  analisis,  se  diseno  un  codigo  de  letras  y numeros  con  el  objeto  de  clasifi- 
car  la  informacion  y establecer  unos  codigos  que  posteriormente  apareceran  en  el 
informe. 

En  una  segunda  etapa  se  procedio  a la  transformation  de  los  datos  seleccionando  la 
informacion  que  se  habia  clasificado  bajo  las  definitivas  categorias  de  analisis,  y el 
resultado  de  la  misma  fue  objeto  del  analisis  por  parte  del  equipo  de  evaluacion,  en  el 
intento  de  determinar  la  valoracion  y opinion  — obtencion  de  resultados — de  cada 
uno  de  los  diferentes  agentes  de  las  acciones  formativas. 

F ) Emision  de  Resultados.  Por  ultimo  se  redacto  el  informe  del  desarrollo  de  cada 
una  de  las  acciones  formativas  y que  constituye  en  si  mismo  la  verificacion  de  las  con- 
clusiones que  pudieran  establecerse. 

4.  RESULTADOS 

En  este  articulo  se  ha  descrito  un  proceso  de  evaluacion  externa  y un  estudio  com- 
parative de  acciones  formativas,  relatando  la  experiencia  a traves  de  sus  bases  meto- 
dologicas.  Se  ha  desarrollado  una  metodologia  sistematica,  segun  un  plan  — en  parte — 
previamente  fijado  y flexible.  Hemos  querido  establecer  estas  dos  premisas  en  todo 
momento  en  el  estudio,  pero  tal  vez  sea  en  el  apartado  metodologico  donde  con  mas 
sentido  se  senalan.  Esta  flexibilidad  metodologica  tambien  se  ha  visto  reflejada  en  la 
valoracion  y comparacion  de  los  resultados.  Desde  la  optica  cualitativa  bajo  la  cual  se 
ha  desarrollado  la  evaluacion,  los  resultados  de  este  estudio  para  la  evaluacion  ex- 
post se  concretaron  en: 

— Puntos  fuertes  y debiles  del  modelo  formativo  de  la  Asociacion  «Lejeune»,  y 
recomendaciones  para  la  mejora. 

— Description,  Interpretation  y Valoracion  Global  de  las  acciones  Formativas. 
(Analisis  Comparative) 

Para  estos  dos  elementos,  el  nexo  unificador  fue  el  sistema  de  categorias  empleado 
en  toda  la  evaluacion,  el  cual  fue  aportando,  a traves  de  la  recogida  de  la  informacion, 
las  conclusiones  relevantes  a nuestro  estudio.  La  dificultad  de  este  caso  es  que  nuestra 
evaluacion  es  al  mismo  tiempo  un  estudio  comparativo  y una  evaluacion  ex-post,  por 
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lo  que  las  conclusiones  se  identificaran  de  una  manera  o de  otra.  Para  el  primer  ele- 
mento  se  ofrece  siguiendo  estos  cuatro  aspectos: 

• El  modelo  general 

• Las  acciones  formativas. 

• Segundas  practicas. 

• Empleo  con  Apoyo. 

En  cambio,  para  el  segundo  elemento  de  valoracion  global  de  las  acciones  formati- 
vas, lo  que  propiamente  podemos  llamar  los  resultados  del  estudio  comparative  han 
buscado  indicadores  propios  de  comparacion: 

— Integracion. 

— Modelo  Formativo. 

— Disefio  Diddctico. 

— Alumnos. 

— Familias. 

— Empresas. 

— Figuras  profesionales. 

— Nivel  Formativo. 

— Nivel  Personal. 

— Nivel  De  Integracion. 

— Contrato  Laboral. 

5.  CONCLUSIONES 

Para  finalizar  las  conclusiones  metodologicas  que  este  equipo  de  evaluation  desta- 
ca  con  respecto  a este  trabajo: 

• Los  diferentes  pasos  seguidos  a lo  largo  de  este  proceso  nos  ha  permitido 
sumergimos  en  el  contexto  singular  de  la  Asociacion  «Lejeune»,  proporcionan- 
do  valiosas  claves  para  la  interpretation  de  lo  que  en  el  mismo  acontecio.  Nues- 
tra  integracion  en  el  contexto  facilito  el  desarrollo  de  un  clima  de  trabajo 
caracterizado  por  la  transparency  y el  intercambio  mutuo  de  information. 

• Asf  mismo,  este  equipo  de  evaluation  a lo  largo  del  transcurso  de  su  trabajo 
con  la  Asociacion  «Lejeune»,  ha  detectado  un  cambio  en  la  conception  que 
estos  asumfan,  — ideas  previas  de  los  procesos  evaluativos — ; empezando 
a pensar  por  sf  mismos  en  autoevaluacion  — reconstruction  de  pensamien- 
tos — . 

• A1  desarrollo  del  aspecto  senalado  con  anterioridad  ha  contribuido  en  gran 
medida  la  utilization  de  la  entrevista  semiestructurada  como  herramienta  eva- 
luativa,  que  ha  aportado,  no  solo  information  rica  y relevante  sino  que  ademas 
refuta  la  importancia  de  la  fase  de  disefio  de  evaluation  y la  election  adecuada 
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de  las  tecnicas  e instrumentos.  Ademas  la  entrevista  ha  posibilitado  la  humani- 
zation de  evaluation  en  el  contacto  cara  a cara,  descubriendo  y compartiendo 
significados. 

• En  este  tipo  de  metodologia  de  evaluation,  el  evaluador  debe  adquirir  un  fuerte 
compromiso  de  trabajo,  que  entre  otras  cosas  supone:  «hablar  el  mismo  lengua- 
je»  utilizado  en  el  contexto,  y dominar  las  claves  como  elemento  esencial  para  el 
desarrollo  de  la  comunicacion. 

• La  insuficiencia  de  indicadores  de  evaluation  en  el  marco  de  las  Iniciativas 
Comunitarias  de  Empleo  nos  lleva  a la  necesidad  de  construirlos,  o como  en 
nuestro  caso,  construir  otros  «criterios»  en  los  que  centrar  la  evaluation. 

• En  relation  con  lo  anterior,  el  caracter  estrictamente  cuantitativo  de  los  mismos 
(n°  de  beneficiarios,  n°  de  inserciones...),  asi  como  su  foco  de  atencion  en  pro- 
ductos,  nos  conducen  necesariamente  a investigar  en  otros  modelos  de  evalua- 
tion, como  el  propuesto  a traves  de  evaluation  respondente. 

• Llevar  a cabo  un  proceso  de  evaluation  de  procesos  y productos  desde  una  opti- 
ca cualitativa  supera  el  modelo  evaluativo  practicado  en  el  marco  de  referencia, 
ya  que  el  uso  de  la  evaluation  deja  de  ser  simplemente  sumativo,  para  transfor- 
marse  en  formativo  de  los  contextos. 

A lo  largo  de  esta  experiencia  de  evaluation  hemos  aprendido  que  esta  option  no 
supone  simplemente  un  compromiso  de  sus  profesionales;  para  que  de  verdad  se 
impulsen  procesos  de  mejora,  los  evaluados  deben  sentirse  protagonistas  y participes 
a lo  largo  del  proceso  de  evaluation.  Creemos  que  la  clave  reside  en  empezar  a aban- 
donar  nuestra  position  de  «expertos»  para  tomar  conciencia  de  la  necesidad  de  ser 
facilitadores  de  herramientas  para  comprender  la  realidad. 
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La  evaluation  de  programas  educativos  se  inicia  como  linea  de  investigacion  en  el 
Departamento  de  M.I.D.E.  de  la  Universidad  Complutense  a mediados  de  los  anos 
ochenta,  dando  lugar  a gran  parte  de  los  cursos  del  programa  de  doctorado  Diagnosti- 
co,  Medida  y Evaluadon  de  la  Intervention  Educativa  de  la  decada  posterior.  En  la  sinte- 
sis  que  a continuation  presentamos  se  recogen  diez  evaluaciones  en  las  que  han 
participado  profesores  del  departamento,  siete  de  ellas  finalizadas  y tres  en  proceso 
de  realization. 

temAtica  evaluada.  Tomando  el  concepto  de  programa  en  su  version  mas 
amplia,  se  han  evaluado  programas  y acciones  formativas  tanto  en  el  ambito  educati- 
vo  como  en  el  sanitario,  abarcando  las  etapas  de  education  infantil,  education  prima- 
ria,  education  secundaria,  education  universitaria,  formation  ocupacional  y 
formation  continua. 

En  la  mayoria  de  los  trabajos  se  ha  actuado  como  evaluadores  extemos  al  progra- 
ma, excepto  en  cuatro  proyectos  en  los  que  es  el  propio  equipo  evaluador  quien  a la 
vez  disena  o es  responsable  del  programa  a evaluar. 

Los  titulos,  responsables  y objeto  evaluado  se  resumen  en  la  Tabla  1 (el  orden  de 
presentation  utilizado  es  el  del  ano  de  realization  de  la  evaluation): 
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TABLA 1 


Ti'tulo  del  programs 

Responsable  del 
programa 

Responsable  de 
evaluacion 

Objetivo  evaluado 

1 Programa  de  Formation 
Ocupacional 
1984-1989 

Institute  de  Molinerfa  e 
Industrias  Cerealfsticas 

Rafael  Carballo 

Formacion  Ocupacional 

2 Estrategias  adaptativas 
para  alumnos  de  bajo 
rendimiento 
1995-96 

IES  Palomeras-Vallecas 
M1DEUCM 

Maria  Castro 
Mercedes  Garcia 
Emelina  Lopez 
Inmaculada  Asensio 

Adaptation  curricular 
(Biol.,  Fisica  y Lengua) 
(3°  y 4°  ESO) 

3 Education  Infantil 
1995-1997 

Ministerio  de  Educacion 
y Cultura 

Mercedes  Garcia 
INCE 

Education  Infantil 
(LOGSE) 

4 Programa  de  intervention 
en  Education  para  la  Salud 
1996-1998 

Narciso  Garda  Nieto 
Ma  Jose  Fernandez 
Rafael  Carballo 

Nardso  Garda  Nieto 
Ma  Jose  Fernandez 
Rafael  Carballo 

Programa  de  educacion 
para  la  salud 
(3°  y 4°  ESO) 

5 Necesidades  formativas 
en  la  Industria  Harinera 
y de  Se'molas 
1997 

Institute)  de  Molineria  e 
Industrias  Cerealisticas 
FORCEM 

Ramon  Sanchez  (coor) 
Angel  Jimenez 
L.  Roces 
Rafael  Carballo 
R.Cortes 

Formacion  continua: 
analisis  de  necesidades 

6 Apoyo  y refuerzo  de 
habilidades  y aprendizajes 
instrumentales 

1999-2000 

Narciso  Garcia  Nieto 
Rafael  Carballo 
Ma  Jose  Fernandez 

Rafael  Carballo 
Ma  Jose  Fernandez 
Narciso  Garda 

Programa  de  apoyo 
escolar 
(Ciclo  Inirial, 
Ed.Primaria) 

7 Prevention  y detection 
precoz  del  VIH-Sida 
1999-2000 

Pedro  Montilla 
(Consejerfa  de  Salud, 
CAM) 

Rafael  Carballo 
Chantal  Biencinto 

Acciones  formativas 
(Servidos  de  atendon 
primaria,  CAM) 

8 PIPEI:  Programa  de 
Intervention  Preventiva 
en  Education  Infantil 
2000-2001 

Paula  Zamorano 
(Colegio  Sagrado 
Corazon.  Fuencarral) 

Laura  Oliveros 
Covadonga  Ruiz 

Programa  PIPEI 
(Ed.  infantil) 

9 Rentabilidad  de  la  Formation 
Continua  en  el  empleo 
2000-2001 

UGT-UCM 

Rafael  Carballo 

Formacion  continua 
(trabajadores  Sector 
servidos) 

10  Calidad  de  la  Ensenanza 
Universitaria  ofrecida 

J.M.  Garda  Ramos 
Dir.  Centro  Universitario 
Francisco  de  Vitoria 
Clemente  Lopez 

J.M.  Garda  Ramos 
Elvira  Congosto 
Jesus  Alcala 

Proyecto  educativo 
Servidos 
Docenda 
Investigation 
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OBJETIVOSY  FUNCIONES  DE  LA  EVALUACION 


Los  estudios  que  presentamos  se  podrian  encuadrar  en  tres  grupos  en  funcion  del 
objetivo  prioritario  que  ha  dirigido  la  evaluacion.  En  el  grupo  mas  numeroso,  el  objeti- 
vo  principal  ha  sido  contrastar  si  las  metas  del  programa  se  alcanzaron,  analizando  los 
cambios,  mejoras  e impactos  deseables  en  los  beneficiarios  directos  o indirectos  de  la 
intervencion.  En  un  segundo  grupo  ha  sido  el  analisis  de  necesidades  el  que  ha  guiado 
la  evaluacion,  seguido  frecuentemente  con  la  formulation  de  acciones  educativas.  Por 
ultimo,  el  objetivo  de  dos  estudios  ha  sido  la  evaluabilidad  del  objeto.  De  forma  mas 
detallada  se  presentan  en  la  Tabla  2. 

Las  funciones  sumativa,  centrada  en  la  evaluacion  de  los  resultados,  y formativa, 
centrada  en  el  seguimiento  y mejora  del  propio  programa,  son  las  que  se  citan  con  mas 
frecuencia,  excepto  en  dos  casos  en  los  que  es  la  evaluacion  de  necesidades  y la  infor- 
mation sociopolftica  la  que  determina  la  evaluacion. 

PARADIGMAY  MODELO  DE  LA  EVALUACION 


La  mayor  parte  de  las  evaluaciones  se  han  inscrito  en  el  paradigma  cuantitativo, 
aunque  la  mitad  de  estudios  anaden  el  cualitativo  como  aspecto  complementario.  Asf 
mismo,  el  modelo  dominante  es  el  de  resultados  si  bien  se  observan  proyectos  con  ele- 
mentos  procesuales  y de  entrada,  ya  sea  referidos  al  contexto,  a las  necesidades  o al 
propio  diseno  del  programa  a evaluar  (Tabla  3). 

METODOLOGIA  DE  LA  EVALUACION 


El  diseno  que  se  ha  utilizado  con  mas  frecuencia  ha  sido  el  cuasi-experimental  (con 
un  grupo  de  intervencion  y medidas  tomadas  antes  y despues  del  tratamiento;  en  pocos 
casos  se  ha  utilizado  grupo  de  control  o de  comparacion)  y en  su  defecto,  el  diseno  pre- 
experimental  de  caracter  descriptivo  o correlacional,  con  medidas  recogidas  durante 
y / o tras  la  intervencion.  El  cuestionario  es  la  tecnica  de  recogida  de  information  mas 
empleada,  seguida  de  la  entrevista  y de  la  observation. 

Los  criterios  utilizados  para  valorar  la  information  son,  principalmente,  la  eficacia  y 
la  efitiencia  y,  puntualmente,  la  viabilidad,  la  funcionalidad  y la  calidad  de  procesos.  No 
todas  las  evaluaciones  plantean  referencias,  las  que  lo  hacen  suelen  emplear  criterios 
prefijados,  pero  lo  mas  frecuente  es  valorar  la  mejora,  el  cambio  o el  progreso  sobre  el 
propio  programa. 

Todos  los  estudios  presentan  analisis  descriptivos  y muchos  de  ellos  emplean  el  ana- 
lisis de  varianza  como  tecnica  de  contraste.  Por  ultimo,  las  decisiones  suelen  hacer  refe- 
renda, por  un  lado,  a la  mejora,  modification  o continuidad  del  programa  o,  por  otro 
lado,  a la  description  de  la  situation  evaluada  o a la  viabilidad  del  modelo  o proceso  de 
evaluacion  (Tabla  4). 
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TABLA2 


Tftulo 

Objetivos  de  la  evaluacidn 

Funcion 

1 

Evaluation  de  un  programa 
de  Formation  Ocupacional 
1984-1989 

• Determinar  la  eficacia  de  los  cursos  impartidos 

• Deteccion  de  problemas  en  el  desarrollo  de  los  cursos 

Sumativa 

Formativa 

2 

E studio  del  bajo  rendimiento 
y de  las  respuestas  educativas 
para  el  alurnno  c/ue  no 
alcanza  los  objetivos  minimos... 
1995-96 

• Analizar  la  viabilidad  de  las  estrategias  de  adaptacion 
disenadas  en  contexto  regular 

• Determinar  la  eficacia  de  las  estrategias  a traves  de  la 
mejora  de  los  resultados,  actitudes  y la  satisfaction 
de  los  implicados 

Formativa 

Sumativa 

3 

E studio  de  la  viabilidad  de  la 
evaluacion  de  la  E ducacion 
Infantil 
1995-1997 

• Analizar  la  viabilidad  del  modelo  INCE  en  la 
evaluacion  de  la  educacion  infantil 

• Conocer  ajuste  directrices  reforma  y expectativas 
de  los  mediadores  educativos 

• Valorar  dimensiones  del  entomo,  proceso  y resultados 
asociados  a la  etapa 

Sociopolitica 

4 

Eficacia  deun  programa  de 
intervention  en  Education 
para  la  Salud 
1996-1998 

• Detectar  las  necesidades  de  formacion  de  los  alumnos 
de  secundaria  en  educacion  para  la  salud 

• Analizar  el  funcionamiento  del  programa 

Formativa 

5 

Estudio  de  nuevas  necesidades 
formativas  en  la  Industrja 
Harinera  y de  Semolas 
1997 

• Deteccion  de  nuevas  tendencias  productivas 

• Elaboration  de  cursos  de  formacion  ajustados  a las 
necesidades  productivas 

Analisis 

necesidades 

6 

Apoyo  y refuerzo  de  habilidades 
y aprendizajes  instrumentales 
en  ninos  con  dificultades  escolares 
1999-2000 

• Determinar  la  eficacia  del  programa  a traves  de  la 
mejora  de  los  resultados  en  tests  estandarizados 

Formativa 

7 

Prevencion  y deteccion  precoz 
del  VIH-Sida  en  los  Servicios 
de  Atencion  Primaria  de  la 
Comunidad  de  Madrid 
1999-2000 

• Determinar  el  impacto  de  los  cursos  en  la  deteccion 
precoz  y prevencion  del  VIH-Sida  en  la  poblacion  que 
accede  a los  servicios  de  Atencion  Primaria  de  la  CAM 

Formativa 

8 

PIPEI:  Programa  de 
Intervention  Preventiva  en 
Education  Infantil 
2000-2001 

• Favorecer  la  adaptacion  de  los  ninos  en  el  momento 
de  la  escolarizacion 

• Mejorar  el  proceso  de  ensenanza-aprendizaje 
en  el  primer  ano  de  escolarizacion 

• Crear  una  relation  de  colaboracion  familia-escuela 

• Valorar  el  ajuste  entre  recursos  empleados  y benefitios 
obtenidos 

• Valorar  la  coherencia  interna  entre  los  distintos 
elementos  del  programa 

Sumativa 

Formativa 

9 

Estudio  de  evaluacion  de  la 
rentabilidad  de  la  Formacion 
Continua  en  el  empleo  de  los 
trabajadores  del  Sector  Servicios 
2000-2001 

• Determinar  la  eficacia  y rentabilidad  laboral  de  la 
Formacion  Continua 

• Elaborar  una  gui'a  de  Buenas  Practicas  para  la  mejora 
de  la  Formacion  Continua  en  la  Negotiation  Colectiva 

Sumativa 

Formativa 

10 

Evaluacion  de  la  calidad  de  la 
Ensenanza  Universitaria  ofrecida 

• Mejora  institutional 

Formativa 

643 


TABLA3 

PARADIGMAS  Y MODELOS  DE  EVALUAClON 


Tftulo 

Enfoque 

Modelo 

1 

Evaluation  de  un  programa  de 
Formation  Ocupacional 

Cuantitativo  + Cualitativo 

Proceso-Producto 

2 

Estudio  del  bajo  rendimiento  y de 
las  respuestas  educativas  para  el 
alumno  que  no  alcanza  los  objetivos 
minim  os... 

Cuantitavo  + Cualitativo 

Contexto  + Entrada  + Proceso 
+ Resultados 

3 

Estudio  de  la  viabilidad  de  la 
evaluacidn  de  la  Education  Infantil 

Cualitativo  (analisis  de 
documentos)  + Cuantitativo 

Contexto  (politico  + 
curricular)  + Entrada  + 
Proceso  + Resultados 

4 

Eficacia  de  un  programa  de 
intervention  en  Education 
para  la  Salud 

Cuantitativo 

Resultados 

5 

Estudio  de  nuevas  necesidades 
formativas  en  la  Industria  Harinera 
y de  Semolas 

Cuantitativo  + Cualitativo 

Entrada  (necesidades) 

6 

Apoyo  y refuerzo  habilidades  y 
aprendizajes  instrumentales 
en  ninos  con  dificultades... 

Cuantitativo 

Resultados 

7 

Prevencidn  y detection  precoz 
del  VIH-Sida  en  los  Servicios 
de  Atencion  Primaria... 

Cuantitativo 

Resultados 

8 

PIPE1:  Programa  de  Intervencidn 
Preventiva  en  Education  Infantil 

Cuantitativo 

Entrada  (necesidades  + 
diseno)  + Proceso  + Producto 

' 9 

Estudio  de  evaluation  de  la 
rentabilidad  de  la  Formation 
Continua... 

Cuantitativo  + Cualitativo 

Resultados 

10 

Evaluation  de  la  calidad  de  la 
Ensenanza  Universitaria... 

Cuantitativo  + Cualitativo 

CIPP  adaptado 

820 
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TABLA4 


Diseno 

Instrumento 

Criterios 

Referencia 

Analisis 

Decision 

2 

Cuasi-experim 

Pre-Post 

Cuestionario 

Entievista 

P.Rendimiento 

Eficacia 

Eficiencia 

Descriptivos 

ANVA 

A.Correspond 

Modificaciones 
en  estructura 
programa 

2 

Cuasi-experim 
Pre-Post  + 
control 

Cuestionario 

P.rendimiento 

Entrevista 

Eficacia 

Viabilidad 

Mejora  post  y 
superioridad 
CriteriosTeoria 

Descriptivos 

ANCOVA 

Introducir 
reajustes  y aplicar 
siguiente  curso 

3 

Descriptivo 

Cuestionario 

A.Documentos 

Viabilidad 

Nacional 

(LOGSE) 

Descriptivos 

A.Factorial 

A.Correlacion 

Reajustes  modelo, 
instrumentos  y 
procedimento 

4 

Cuasi-experim 

Pre-Post 

P.objetiva 

Cuestionario 

Eficacia 

Efectividad 

Mejora  post 
Criterial 

Descriptivos 
ANVA 
ANCOVA 
Prueba  t 

Intervenir  antes 
de  3°  ESO 
Necesidad  de 
intervencion 
Dificultad  cambio 
actitudes 

5 

Descriptivo 

Cuestionario 

Entrevista 

Descriptivos 

Elaboracion  cursos 
de  formacion 

6 

Cuasi-experim 
Pre-postest  + 
grupo  compar 

TestABC-MAE 

Eficacia 

Efectividad 

Mejora  post 

Descriptivos 

ANVA 

ANCOVA 

Usar  material  de 
apoyo  en  cursos 
sucesivos 

7 

Cuasi-experim 

Cuestionario 

Observacion 

Viabilidad 

Eficacia 

Autoreferencia 

Descriptivos 

Multivariada 

No  viable  impacto 
medio 

Cambios  en  el 
procedimiento 

8 

Cuasi-experim 

Cuestionario 

Entrevista 

Observacion 

Eficacia 

Eficiencia 

Funcionalidad 

Criterial 

Descriptivos 

Correlaciones 

Continuidad, 
modificacion  o 
supresion  del 
programa 

9 

Cuasi-experim 

Cuestionario 
Entrevista 
Grupos  de 
discusion 

Eficacia 

Eficiencia 

Descriptivos 

ANVA 

Elaboracion  de  guia 

10 

Validacion 

instrumentos 

Descriptivo  + 
Correlacional 

Cuestionario 

Entrevista 

Observacion 

Criterios 
calidad  (P+R) 

Eficacia 

Efectividad 

Criterial 

(libre  o prefijado) 

/>  K 

*f  rrt 


645 


INFORME  DE  EVALUACION 

La  extension  de  los  informes  es  variada  (entre  6 y 160  paginas),  aunque  lo  mas  fre- 
cuente  es  que  este  entre  40  y 50  paginas.  Los  destinatarios  del  informe  se  reparten  a 
partes  iguales  entre  entidades  publicas  (Instituto  Nacional  de  Calidad  y Evaluacion, 
Sindicatos,  Ministerio  de  Agricultura,  Ministerio  de  Educacion,  Universidad  Com- 
plutense,  Consejeria  de  Salud  de  la  C.A.M.,  Oficina  Regional  de  Acciones  frente  al 
SIDA)  y privadas,  siendo  habitual  en  este  caso  que  se  dirijan  a los  responsables  e 
implicados  de  los  centros  y servicios  donde  se  desarrollo  el  programa  (equipos  direc- 
tives — academicos  o de  servicios  administrativos — , profesores  y padres)  o a empre- 
sarios  del  sector  evaluado  y se  centre  en  la  presentation  de  resultados  y,  en  algunos 
casos,  se  prescriban  las  acciones  a emprender.  En  una  y otra  situation  suelen  tener 
una  difusion  limitada. 
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RESPONSABLE  DEL  PROGRAMA: 

Entidad:  C.  «SAFA»  (SAGRADA  FAMILIA-  ALCALA  LA  REAL)  JAEN. 

Director  del  Centro:  Lorenzo  Rus 

Jefe  de  Estudios  E.  Secundaria:  Ma  Antonia  Sanchez 

Jefe  de  Estudios  Bachillerato  y Ciclos:  Javier  Cano 

OBJETO  EVALUADO: 

Dinamizacion,  proyecto  de  centro,  recursos,  procesos,  satisfaccion  con  el  centro, 
satisfaccion  del  profesorado,  impacto  en  la  sociedad  y resultados  del  centro. 

OBJETIVO  DE  LA  EVALUACION 

Conseguir  una  cultura  de  la  evaluation  en  el  centro  encaminada  a la  mejora  global 
y a la  satisfaccion  personal  del  trabajo  realizado. 

Este  objetivo  general  lo  conseguiremos  a traves  de  los  siguientes  objetivos 
parciales: 

a)  Generar  habitos  de  reflexion  sobre  las  practicas  docentes,  orientadoras  y de  ges- 
tion  de  los  diferentes  estamentos  del  centro. 
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b)  Confection  de  instrumentos,  surgidos  desde  las  necesidades  de  nuestro  centro, 
para  poder  recoger  information  que  nos  ayude  a la  toma  de  decisiones. 

c)  Conseguir  un  mejor  nivel  formativo  de  los  profesores  del  centro,  a traves  de  la 
implication  y colaboracion  en  el  proceso. 

d)  Establecer  colaboraciones  entre  los  diferentes  niveles  educativos  (no  universita- 
rios-universitarios)  que  permita  el  enriquecimiento  mutuo  y el  asesoramiento 
de  evaluadores  externos. 

e)  Vistos  los  puntos  debiles  de  la  institution,  establecer  los  aspectos  de  mejora, 
para  que,  tras  esta  cultura  de  la  evaluation,  se  puedan  conseguir  estandares  de 
calidad,  a los  que  debe  tender  el  centro. 

Funcion:  Formativa. 

Paradigma:  Cualitativo. 

Modelo:  Proceso-producto. 

METODOLOGIA  DE  LA  EVALUACION 

En  la  metodologia  a seguir  en  el  desarrollo  del  programa  se  establecen  las  siguien- 
tes  etapas: 

1.  Autorreflexion  del  profesorado  sobre  la  necesidad  de  evaluar  el  centro  como 
elemento  de  mejora:  etapa  diagnostica. 

2.  Autoevaluacion. 

• Primera  fase:  Organization  del  trabajo: 

— Creation  del  equipo  de  autoevaluacion  con  miembros  integrantes  del 
centro. 

— Formation  de  los  componentes  del  equipo  en  una  cultura  de  la  autoeva- 
luacion y de  la  gestion  de  la  calidad. 

• Segunda  fase:  Trabajo  de  campo: 

— Recogida  de  information. 

— Establecer  grupos  de  reflexion. 

— Redaction  del  autoinforme:  puntos  fuertes  y puntos  debiles. 

— Sugerencias  de  mejora. 

3.  Evaluation  externa. 

• Lectura  y estudio  del  informe  de  autoevaluacion. 

• Entrevistas  a todos  los  implicados  en  el  proceso:  equipo  directivo,  profeso- 
res/as,  alumnos/as,  padres/ madres  y personal  laboral. 

• Audiencia  publica,  donde  participaran  todos  los  sectores  que  configuran  el 
centro. 

• Redaction  de  un  informe  a la  vista  del  autoinforme  y de  las  visitas  realiza- 
das,  donde  se  hara  constar:  puntos  fuertes  y puntos  debiles  del  funciona- 
miento  del  centro.  Listado  y explication  de  sugerencias  de  mejora. 
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4.  Remitir  el  informe  al  equipo  de  autoevaluacion. 

5.  Informe  final:  sera  realizado  por  el  equipo  de  evaluation  externa  y los  profeso- 
res  del  centro. 

6.  Formation  de  un  equipo  de  seguimiento,  para  dinamizar  y continuar  en  sesio- 
nes  de  autorreflexion-evaluacion. 

Tecnicas  de  recogida  de  informacion 

Las  tecnicas  que  utilizaremos  son: 

a)  Grupos  de  discusion  para  las  fases  de  reflexion. 

b)  Entrevistas  y cuestionarios  para  la  fase  de  diagnostico  y autoevaluacion  que 
seran  realizados  por  el  profesorado,  familias  y alumnado,  con  el  asesoramiento 
de  los  profesores  universitarios  del  Area  de  Metodos  de  Investigation  y Diag- 
nostico en  Education. 

c)  Analisis  de  Contenidos  de  los  documentos  del  centro  (diarios,  proyectos  de  cen- 
tro) y analisis  del  discurso,  en  las  sesiones  conjuntas  del  profesorado  intemiveles. 

Criterios  utilizados  para  valorar  la  informacion 

Los  criterios  utilizados  han  sido: 

Suficiencia.  Tras  la  reflexion  de  los  profesores /as  la  informacion  recibida  la  consi- 
derabamos  insuficiente.  En  funcion  de  los  estandares  establecidos,  procedimos  a reali- 
zar  entrevistas  y /o  cuestionarios. 

Viabilidad  v efectividad.  Este  criterio  se  ha  conseguido  a traves  de  reuniones  pre- 
vias,  donde  los  profesores  discutian  la  viabilidad  o no  de  las  cuestiones  planteadas  por 
nosotros  en  el  centro,  a la  vez  que  valoraban  la  efectividad  de  las  dimensiones  disena- 
das  como  elemento  de  mejora. 

Evaluabilidad.  Igualmente  hemos  tenido  en  cuenta  el  criterio  de  evaluabilidad,  a 
traves  de  un  equipo  de  seguimiento,  para  dinamizar  y continuar  en  sesiones  de  auto- 
rreflexion,  una  vez  puestos  en  marcha  los  planes  de  mejora. 

Referencias 

Como  punto  de  partida  analizamos  el  modelo  EFQM,  encontrando  grandes  incon- 
venientes  para  su  adaptation  al  contexto  escolar  y dificultad  de  interpretation  del 
vocabulario  utilizado. 

De  esta  forma  hemos  realizado  un  recorrido  por  la  literatura  sobre  el  tema  para,  a 
partir  de  ella,  proponer  im  modelo  propio  que  nos  permita  contemplar  los  aspectos 
contextuales  y las  realidades  educativas  de  nuestro  centro. 

El  primer  problema  es  la  propia  definition  de  calidad.  Los  valores  de  quien  la  defi- 
ne, marca  el  desarrollo  del  concepto. 
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Comenzando  por  el  principio  del  interes  por  evaluar  la  calidad  de  un  centro  educa- 
tivo, nos  encontramos  con  los  establecidos  por  el  Libro  Blanco  de  1969. 

Igualmente  y abundando  en  los  mismos  aspectos,  aparecio  el  II  Informe  Foessa  de 
1970.  A este  le  sucedio  el  denominado  Informe  de  evaluation  de  1976  y a este  le  siguieron 
otros  como:  el  III  Informe  Foessa  de  1978,  el  documento  de  1981  sobre  ensenanza  secunda- 
ria; el  IV  Informe  Foessa,  publicado  dos  anos  mas  tarde,  que  recoge  las  mismas  anoma- 
lias  que  el  informe  de  1981. 

El  V Informe  Foessa  fue  publicado  en  1994,  y recoge  criticas  que,  en  parte,  son  coinci- 
dentes,  con  las  que  se  recogen  en  el  libro  bianco  de  1989  y en  el  documento  sobre  Centros 
educativos  y calidad  de  la  ensenanza:  propuesta  de  actuation  publicado  por  el  MEC  en  1994. 

En  este  documento  sobre  Centros  educativos  y calidad  de  la  ensenanza  se  contemplan 
77  medidas  para  mejorar  la  calidad  del  sistema  educativo,  objetivo  este  fijado  por  la 
LOGSE  y senala,  entre  otros,  cuatro  factores  que  tienen  incidencia  directa  con  la  ense- 
nanza: 

• La  autonomia  de  los  centros  docentes. 

• La  direction  y la  participacion  de  la  comunidad  educativa  en  el  gobierno  de  los 
mismos. 

• La  formation  y las  perspectivas  profesionales  de  los  docentes. 

• La  evaluacion  del  sistema  educativo  y la  funcion  inspectora. 

Podemos  observar  como  la  LOGSE  apuesta  por  mejorar  la  calidad  del  sistema  edu- 
cativo. 

Sin  embargo,  los  centros  educativos  no  disponen  de  un  modelo  de  evaluacion 
que,  adaptado  a la  realidad  del  mismo,  les  permita  generar  una  cultura  de  calidad. 
El  presente  programa  se  inicia  con  el  proposito  de  desarrollar  un  modelo  de  gestion 
de  calidad  adaptado  a la  idiosincrasia  del  centro  educativo,  para  que  una  vez  imple- 
mentado  permita  instaurar  la  cultura  de  la  calidad.  Pretendemos  llegar  a un  modelo 
centrado  en  las  necesidades  del  profesorado,  personal  no  docente,  familias  y alum- 
nado. 

Para  ello,  utilizaremos  de  una  parte,  la  autoevaluacion,  entendiendo  que  cada  insti- 
tution es  la  que  debe  decidir  sobre  los  cambios  que  necesita  con  mayor  urgencia  y,  por 
tanto,  las  estrategias  a poner  en  practica  con  tales  fines.  Cada  centro  educativo,  en  fun- 
cion del  contexto,  debera  concretar  cuales  son  las  innovaciones  mas  oportunas  y esta- 
blecer  un  orden  entre  ellas.  La  autoevaluacion  o autorrevision  interna  constituye  la 
estrategia  a traves  de  la  cual  las  instituciones  educativas  detectan  sus  puntos  fuertes  y 
debiles  y establecen  programas  orientados  hacia  la  mejora  (Fullan,  1986).  De  otra 
parte,  utilizaremos  la  evaluacion  externa,  ya  que  la  participacion  en  el  proceso  de  otros 
evaluadores,  hace  que  la  revision  interna  adquiere  credibilidad  en  la  medida  que  es 
contrastada  extemamente. 

Tecnicas  de  registro  y analisis  de  la  informacion 

Los  datos  e informacion  seran  tratados  en  dos  niveles: 
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a)  Analisis  cualitativos  de  los  grupos  de  discusion  y de  los  diferentes  discursos  de 
los  profesores  universitarios  y no  universitarios. 

Estos  analisis  se  realizaran  mediante  los  siguientes  programas  estadisticos: 
AQU  AD  5.1  y NUDIST. 

b)  Analisis  cuantitativos  para  conocer  los  indices  demandados  por  los  cuestionarios 
y poder  establecer  numericamente  la  situation  de  determinados  indicadores. 

El  programa  utilizado  sera  el  SPSS  9.0 

Tipos  de  dedsiones 

En  el  proceso  se  deben  conjugar  tanto  la  information  obtenida  sobre  el  centra  como 
los  juicios  que  formulan  los  expertos,  a traves  de  los  informes  que  se  emitan,  para  a 
partir  de  ellos,  establecer  planes  de  mejora  y una  cultura  de  la  evaluacion  entre  todos 
los  implicados  en  la  evaluacion  del  centra. 

Las  decisiones  que  se  tomen  tras  detectar  los  puntos  debiles  del  centra  estaran 
orientadas  a la  mejora  global  del  centra,  siendo  por  ello  decisiones  consensuadas  por 
todos  los  miembros  de  la  comunidad  educativa. 

Informe 

Destinatarios:  Profesores /as,  familias,  alumnado. 

Estructura:  Esta  pendiente  de  elaborarse  el  informe  por  estar  en  la  ultima  fase  de 
evaluacion. 
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UNIVERSIDAD  DE  JAEN 

Juan  Ruiz  Carrascosa 

TlTULO  DEL  PROGRAMA:  PROG  RAMA  DE  INICIACION  A LA  DOCENCIA 
U N I VERS  ITARI A 


RESPONSABLE  DEL  PROGRAMA 

Secretariado  de  Metodologfa  del  Gabinete  de  Calidad  de  la  Universidad  de  Jaen. 

RESPONSABLE  DE  LA  EVALUACLON 

Director  del  curso. 

OBJETO  EVALUADO 

El  programa  de  iniciacion  a la  docencia  universitaria  en  la  Universidad  de  Jaen 
(UJA)  es  una  de  las  actuaciones  contempladas  en  el  Plan  Global  para  la  mejora  de  la 
Calidad  de  esta  Universidad.  El  programa  se  desarrolla  durante  seis  meses  a traves  de 
un  curso,  desde  febrero  hasta  junio. 

Este  programa  tiene  como  destinatario  al  profesorado  no  permanente,  con  dedica- 
tion a tiempo  completo,  de  reciente  incorporation  a la  Universidad.  Durante  cuatro 
cursos  han  podido  realizarlo  127  profesores  de  los  diferentes  departamentos. 

A continuation  se  exponen  los  objetivos,  contenidos  y metodologfa  propuesta. 

Objetivos: 

— Comprender  la  importancia  del  conocimiento  de  las  caracteristicas  psicopeda- 
gogicas  de  los  alumnos  universitarios. 
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— Conocer,  emplear  y valorar  metodos  y tecnicas  utiles  en  el  proceso  de  ensenan- 
za-aprendizaje  universitario. 

— Considerar  la  importancia  de  la  planificacion  de  la  actividad  docente. 

— Familiarizarse  con  los  aspectos  generales  relacionados  con  la  investigacion. 

— Aplicar  los  conocimientos  adquiridos  en  la  realizacion  de  un  trabajo  practico  de 
planificacion  docente. 

Contenidos: 

— Caracterfsticas  psicopedagogicas  de  los  aluxnnos  universitarios. 

— El  aprendizaje:  modelos,  tipos,  estrategias  cognitivas  y metacognitivas. 

— La  metodologia  didactica  en  la  ensenanza  universitaria:  modelos  de  ensenanza, 
procesos  de  interaccion,  la  funcion  tutorial,  sentido  y funcion  de  las  practicas. 

— Evaluation  de  los  procesos  de  ensenanza-aprendizaje. 

— Aspectos  relacionados  con  la  investigacion. 

— Recursos  tecnologicos  para  la  docencia  universitaria. 

— Planificacion  de  la  actividad  docente. 

Metodologia: 

El  curso,  con  caracter  semipresencial,  se  desarrolla  en  dos  fases.  En  la  primera  se 
imparten  los  contenidos  teoricos  del  programa,  proponiendose  la  realizacion  de  un 
trabajo  practico  sobre  dichos  contenidos  (planificacion  de  una  asignatura).  El  trabajo, 
que  tiene  un  caracter  obligatorio,  se  realiza  durante  la  segunda  fase,  no  presencial,  con 
el  apoyo  del  tutor  que  en  cada  departamento  se  determina,  finalizando  con  la  revision 
del  mismo  al  acabar  el  curso. 

OBjETIVOS  DE  LA  EVALUACLON 

Valorar  a partir  de  criterios  preespecificados  la  calidad  y los  logros  del  programa 
para  tomar  decisiones  de  mejora  tanto  del  programa  como  del  personal  implicado. 

FUNCIONES 

La  primera  funcion  es  Normativa.  Se  evalua  para  promover  la  mejora  del  progra- 
ma, del  personal  implicado  de  forma  directa,  y,  de  modo  indirecto,  del  colectivo  en 
que  se  encuentra  inmerso.  Una  segunda  funcion,  que  afecta  a los  alumnos,  es  la  de  cer- 
tification en  el  ambito  de  las  actividades  de  formation  que  se  realizan  en  la  universi- 
dad  respecto  al  profesorado. 

PARADIGMA 

No  se  ha  optado  por  un  unico  paradigma.  Se  parte  del  principio  de  complementa- 
riedad  metodologica.  Consecuentemente  se  plantea  la  utilization  de  diversas  fuentes 


6'9 


655 


productoras  de  infonnacion,  asi  como  el  uso  de  tecnicas  variadas  y complementarias 
para  su  recogida,  elaboracion  y tratamiento. 

MODELO  DE  EVALUACLON 

Considerando  las  caracteristicas  del  programa  objeto  de  evaluacion,  se  ha  seguido, 
en  lo  fundamental,  la  propuesta  metodologica  para  la  evaluacion  de  programas  edu- 
cativos  de  Perez  Juste  (1995)*. 

METODOLOGIA  DE  LA  EVALUACION 

Se  ha  respetado  la  esencia  del  modelo  adoptado  realizando  una  evaluacion  referida 
a los  tres  momentos  (al  principio,  durante  el  proceso  y al  final  del  programa).  Por  las 
caracteristicas  concretas  del  programa  y sus  destinatarios  se  ha  realizado  una  adapta- 
cion  de  las  dimensiones  y objetos  de  atencion  contemplados  en  la  propuesta  metodo- 
logica  seguida. 

Primer  momento 

La  informacion  correspondiente  al  primer  momento  ha  sido  recabada  a partir  de 
diversas  fuentes  productoras  de  datos:  los  alumnos  del  curso  han  puesto  de  manifies- 
to  sus  necesidades  de  formacion,  su  experiencia,  expectativas  y posibilidades  de 
implication,  a traves  de  un  cuestionario. 

Los  expertos  en  formacion  del  profesorado  han  aportado  su  valoracion  sobre  la 
viabilidad  y relevancia  del  programa,  asf  como  sobre  los  objetivos  y contenidos  plan- 
teados. 

Los  profesores  del  curso  han  sido  consultados  sobre  la  relacion  de  los  contenidos  a 
impartir,  las  actividades  a realizar  y los  medios  y recursos  a emplear. 

Segundo  momento 

En  la  evaluacion  del  desarrollo  del  programa  han  intervenido  tanto  los  profesores 
como  los  alumnos.  Los  primeros  han  proporcionado  informacion  relevante  mediante 
una  entrevista  en  profundidad.  Los  alumnos  han  proporcionado  informacion  por  dos 
vias  complementarias:  por  medio  de  un  cuestionario  especffico  dirigido  a todos  ellos  y 
cumplimentado  al  finalizar  la  fase  presencial  y no  presencial,  y mediante  entrevistas 
en  profundidad  para  analizar  como  han  percibido  el  desarrollo  del  curso  una  vez  rea- 
lizado este. 


* Perez  Juste,  R.  (1995)  Metodologfa  para  la  evaluacion  de  programas  educativos,  en  A.  Medina  y L.M. 
Villar.  Evaluacion  de  Programas  Educativos,  Centros  y Profesores.  Madrid:  Universitas 
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Tercer  momento 

En  este  momento,  en  primer  lugar,  se  han  constatado  los  niveles  de  logro  en  base  a 
los  criterios  preespecificados,  efectuandose,  asf  mismo,  una  valoracion  global  de  la 
calidad  del  curso.  En  segundo  lugar  se  ha  cumplido  con  la  tarea  de  certification  res- 
pecto  a los  alumnos  que  han  desarrollado  el  programa,  asf  como  con  los  profesores 
tutores  colaboradores. 

Tecnicas  de  recogida  de  informacion 

A fin  de  disponer  de  una  informacion  fiable,  relevante  y valida  para  la  evaluacion  y 
mejora  del  programa,  se  han  utilizado  diversas  tecnicas  e instrumentos  en  cada  uno  de 
los  tres  momentos: 

— Cuestionario  para  analisis  de  necesidades  a los  alumnos  y cuestionario  para 
expertos  sobre  analisis  y valoracion  del  programa  en  el  primer  momento. 

— Entrevistas  en  profundidad  con  los  profesores  y alumnos  en  el  segundo 
momento. 

— Cuestionario  especifico  dirigido  a todos  los  alumnos  del  curso  en  el  tercer 
momento. 

Criterios  utilizados  para  valorar  la  informacion 

Teniendo  en  cuenta  los  objetos  de  evaluacion  considerados  en  los  diferentes 
momentos  del  programa,  los  criterios  han  sido  variados  tal  como  se  contemplan  en  los 
cuadros  1 y 2. 

Tecnicas  de  registro  y analisis  de  la  informacion 

A partir  de  los  datos  obtenidos  en  las  entrevistas  y los  cuestionarios  se  ha  procedi- 
do  a su  registro  y analisis,  tanto  cuantitativo  como  cualitativo,  para  su  estudio,  inte- 
gration en  el  informe  y toma  de  decisiones. 

Tipos  de  decisiones 

Considerando  la  funcion  de  mejora  asignada  al  programa  y a las  caracterfsticas  del 
mismo,  las  decisiones  tomadas  basicamente  son  de  dos  tipos: 

— Decisiones  de  mejora  tomadas  durante  el  desarrollo  del  programa,  que  afectan 
fundamentalmente  al  desarrollo  de  las  actividades  propuestas  y al  incremento 
de  los  materiales,  a partir  de  las  solicitudes  de  los  propios  alumnos. 

— Decisiones  de  mejora  a partir  del  analisis  de  los  resultados  del  programa  una 
vez  realizado.  Estas  decisiones  afectan  a ‘la  continuidad  de  programa  en  fases 
posteriores. 
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Informe 

El  informe  tiene  en  principio  dos  destinatarios  distintos:  en  primer  lugar  el  Equipo 
de  Gobiemo  de  la  Universidad,  para  su  conocimiento  y hacer  posible,  a la  vez,  la  toma 
de  decisiones.  El  segundo  grupo  de  destinatarios  esta  formado  por  todos  los  implica- 
dos  en  el  desarrollo  del  programa,  profesores  y alumnos,  haciendose  extensivo  al  resto 
de  la  comunidad  universitaria  interesada  en  su  conocimiento. 

En  el  informe  se  contempla,  junto  al  programa  del  curso  desarrollado,  los  resulta- 
dos  obtenidos  a traves  de  las  distintas  tecnicas  en  instrumentos  utilizados,  asf  como 
las  propuestas  de  mejora  efectuadas. 


CUADRO  1 

CUESTIONARIO  A EXPERTOS 


EVALUACldN  DEL  PROGRAMA  DE  INICIACltiN  A LA  DOCENCIA  UNIVERSITARIA  ! 

CUESTIONARIO  A EXPERTOS 

ANALISIS  Y VALORACldN  DEL  CONTENIDO  DEL  PROGRAMA 

A fin  de  disponer  de  information  fiable,  relevante  y valida 

para  la  mejora  del  Programa  de  Initiation 

a la  Docenda  Universitaria,  le  rogamos  que  exprese  su  valoradon  sobre  los  siguientes  elementos  del 

mismo.  Para  ello  rodee  con  un  cfrculo  las  palabras  SI  o NO  segun  convenga  en  cada  caso 

, y valore, 

entre  1 (mmimo)  y 5 (maximo)  los  aspectos  reladonados. 

Gracias  por  su  colaboracion 

1.  LOSOBJETIVOS 

1.1.  Ausenda  de  objetivos  importantes 

SI  NO 

1.2.  Presenda  de  objetivos  irrelevantes 

SI  NO 

En  caso  de  valoradon  desfavorable,  le  agradeceriamos  que  indique  al  dorso  los  objetivos  que  fal- 

tany/o  sobran. 

1.3.  Relevancia  de  los  objetivos  planteados 

1 

2 

3 4 

5 

1.4.  Congruenda  con  las: 

1.4.1.  Caracteristicas  de  los  destinatarios 

1 

2 

3 4 

5 

1.4.2.  Necesidades  de  formation 

1 

2 

3 4 

5 

1.5.  Utilidad  para  la  actividad  profesional 

1 

2 

3 4 

5 

2.  EL  CONTENIDO  DEL  PROGRAMA 

2.1.  Relevanda 

1 

2 

3 4 

5 

2.2.  Tratamiento 

2.2.1.  Inadecuado-adecuado 

1 

2 

3 4 

5 

2.2.2.  Desequilibrado-equilibrado 

1 

2 

3 4 

5 

2.2.3.  Desfasado-actualizado 

1 

2 

3 4 

5 

2.2.4  Insufidente-sufidente 

1 

2 

3 4 

5 

2.3.  Utilidad  para  el  desarrollo  profesional 

1 

2 

3 4 

5 

3.  METODOLOGlA  propuesta 

3.1.  Congruenda  con  la  modalidad  de  formation 

1 

2 

3 4 

5 

3.2.  Utilidad  para  el  desarrollo  del  programa 

1 

2 

3 4 

5 
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CUADRO  2 

CONTENIDO  DE  LA  EVALUAClON  REALIZADA  POR  LOS  ALUMNOS 


OBJETIVOS 

Los  criterios  se  centran  en  la  relevancia,  la  congruencia  y la  utilidad 

CONTENIDOS 

El  criterio  en  este  punto  fue  el  de  calidad,  concretado  en  otros  como  la  claridad,  la  estruc- 
turacion,  la  utilidad,  el  valor  orientador  y la  aplicabilidad. 

organizaci6n 

1.  Lugar 

2.  Fechas 

3.  Horario 

4.  Duracion  del  curso 

5.  Condiciones  del  lugar 

6.  Numero  de  participantes 

7.  Duracion  de  las  sesiones 

El  criterio  para  su  valoracion  fue  el  de  adecuacion. 

PONENTES 

1.  Capacidad  de  motivacion 

2.  Capacidad  expositiva 

3.  Facilidad  para  mantener  relaciones  interpersonales 
El  criterio  utilizado  para  su  valoracion  fue  el  de  adecuacion . 

METODOLOGIA 

1.  Presentacion  de  teoria  y conceptos 

2.  Presentacion  de  material  de  apoyo 

3.  Propuestas  para  la  practica 

4.  Actividades 

Los  criterios  fundamentales  tienen  que  ver  con  la  adecuacion , la  congruencia  con  los  objeti- 
vos  y la  claridad  de  las  actividades  propuestas. 

AMBIENTE 

1.  Participantes 

2.  Relaciones  interpersonales 

Los  criterios  fundamentales  se  centran  en  el  interes,  la  motivacion  y la  adecuacion  de  las 
relaciones  entre  los  participantes. 

RECURSOS  MATERIALES 

El  criterio  en  este  punto  fue  el  de  su  calidad , concretado  en  otros  como  la  adecuacion , la 
relevancia,  la  claridad , el  grado  de  utilidad  y la  aplicabilidad  practica. 
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UNIVERSIDAD  DE  MALAGA 


Juan  Carlos  Tejar  y Jose  Serrano  Angulo 

TlTULO  DEL  PROGRAMA:  PROGRAMA  DE  FORMACION  DEL  PROFESORADO 
UNIVERSITARIO 


RESPONSABLE  DEL  PROGRAMA 

Instituto  de  Ciencias  de  la  Education  de  la  Universidad  de  Malaga*  y Vicerrectora- 
do  de  Ordenacion  Academica  de  la  Universidad  de  Malaga 

RESPONSABLE  DE  LA  EVALUACION 

Directores  del  proyecto:  Juan  Carlos  Tojar  y Jose  Serrano. 

Objeto  evaluado 

Formacion  permanente  del  profesorado  universitario  en  la  Universidad  de  Malaga. 
Actividades  de  heteroformacion  (cursos,  talleres,  conferences, . . . ),  experiencias  de 
innovation  docente,  otras  actividades  de  formacion. 

OBJETiVOS  DE  LA  EVALUACION 

La  puesta  en  marcha,  el  desarrollo  y los  resultados  de  esta  evaluation  deben  con- 
tribuir  a la  mejora  y el  perfeccionamiento  de  la  Education  Superior  como  objetivo  marco. 
Este  principio  se  desarrolla  en  una  serie  de  objetivos  generates  y especfficos.  Los  pri- 
meros  se  refieren  a (1)  la  determination  y concretion  de  los  medios  y recursos  nece- 
sarios  para  que  el  profesorado  universitario  desarrolle  procesos  de  mejora  y 


* Hasta  su  desaparidon  en  1999. 


ERIC 


660 


perfeccionamiento  en  cuestiones  docentes,  y (2)  la  comprension  de  los  procesos  de 
innovacion  educativa,  en  si  mismos,  que  permita  un  analisis  de  los  elementos  princi- 
pales  que  favorecen  la  autoformacion,  interformacion  y/o  ecoformacion  del  profeso- 
rado. 

Los  objetivos  especificos  se  encuentran  relacionados  con  el  rol  profesional  de  los 
profesores  (Scriven,  1988, 1994)  y se  pueden  concretar  como  sigue: 

a)  Delimitar  y estudiar  las  competencias  instruccionales  (destrezas  comunicativas,  de 
gestion,  de  programacion  y desarrollo)  que  pueden  favorecer  los  procesos  de 
innovacion. 

b)  Comprender  y analizar  en  profundidad  las  competencias  de  evaluacion  (conoci- 
mientos  sobre  evaluacion  de  los  estudiantes,  destrezas  de  construction  y admi- 
nistration de  pruebas,  evaluacion  del  proceso  y del  resultado,  rendimiento  de 
los  alumnos)  promovidas  en  la  innovacion. 

c)  Reunir  elementos  que  permitan  una  reflexion  critica  sobre  diversas  cuestiones 
relativas  a la  Profesionalidad  (etica,  actitud,  mejora,  servicio...). 

Funcion:  Formativa 

Paradigma:  Eclectico 

MODELO 

Contexto  de  implantacion  del  programa,  diseno  y planificacion  de  las  actividades, 
proceso  de  implantacion  y resultados  y cambios  producidos  por  el  mismo  (previstos  y 
no  previstos  en  los  objetivos  del  programa). 

METODOLOGIA  DE  LA  EVALUACION 

Diseno 

Para  abordar  un  estudio  riguroso  y exhaustivo  de  los  procesos  de  innovacion  edu- 
cativa en  la  universidad,  como  en  otros  ambitos  de  la  education,  resulta  imprescindi- 
ble  en  la  actualidad,  si  no  se  quiere  pecar  de  simplista,  plantear  un  doble  diseno  de 
investigacion.  Es  por  esto  que  planteamos,  por  un  lado  un  diseno  descriptivo  (enfoque 
metodologico  empmco-analitico),  a partir  de  ahora  diseno  (A),  y por  otro  un  diseno 
multicaso  de  estudio  de  casos  (enfoque  metodologico  humarustico-interpretativo)  a 
partir  de  ahora  diseno  (B).  Para  ambos  disenos  se  van  a describir  a continuation  los 
elementos  principales  previstos  para  la  investigacion. 

El  diseno  (A),  por  su  naturaleza,  permite  el  enunciado  de  un  conjunto  de  hipotesis 
especificas  amplio,  si  bien  todas  ellas  se  pueden  reunir  bajo  una  mas  general,  cuyo 
enunciado  haria  referencia  a la  eficacia  de  la  innovacion  en  el  desarrollo  profesional  docente 
del  profesorado  (hip.  1),  y por  ende,  una  mejora  de  la  calidad  de  la  ensenanza  a raiz  de  los  pro- 
cesos de  innovacion  emprendidos  y desarrollados  (hip.  2). 
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Ambas  hipotesis  generales  (1  y 2),  que  se  encuentran  como  se  ha  senalado  relacio- 
nadas,  se  pueden  desarrollar  en  un  gran  numero  de  hipotesis  especfficas,  tales  como: 
la  innovation  mejora  las  competencias  instruccionales  del  profesorado  implicado  en  las  mismas 
(hip.  1.1),  concretamente  las  destrezas  comunicativas  (hip.  1.1.1),  las  destrezas  de  gestion 
(hip.  1.1.2),  de  programacion  (hip.  1.1.3)  y desarrollo  de  esa  programacion  (hip.  1.1.4).  Asf 
mismo  se  habrfa  de  incluir  la  transformation  de  las  competencias  de  evaluation  del  profeso- 
rado implicado  en  innovaciones  (hip.  1.2),  en  concreto,  un  mayor  y mejor  conocimiento  sobre 
evaluation  de  los  estudiantes  (hip.  1.2.1),  mejora  de  las  destrezas  de  construction  y adminis- 
tration de  pruebas  (hip.  1.2.2),  inclusion  de  aspectos  tales  como  la  evaluation  del  proceso  junto 
al  traditional  resultado  (hip.  1.2.3),  modification  del  rendimiento  de  los  alumnos  (hip.  1.2.4). 
El  profesorado  implicado  en  la  innovacion  debe  ademas  modificar  diversas  actitudes 
que  conforman  las  concepciones  que  tengan  de  su  profesion  (hip.  1.3),  autoestima 
(hip.  1.3.1),  valores  eticos  (hip.  1.3.2),  servicio  publico  (hip.  1.3.3),  actitud  de  mejora  y 
autosuperacion  (hip.  1.3.4). 

Otras  hipotesis  relacionadas  con  las  anteriores,  dentro  de  este  diseno  (A)  son  las 
siguientes:  grado  de  cumplimiento  de  los  objetivos  de  la  innovation  (hip.  2.1);  permanencia  en 
el  tiempo  de  los  cambios  producidos  (hip.  2.2);  modificaciones  habidas  dentro  de  la  propia  inno- 
vation (hip.  2.3);  efectos  colaterales,  previstos  o no  (hip.  2.4),  ampliation  defines  (hip.  2.5); 
difusion  de  la  innovation  en  el  entorno  cercano  (hip.  2.6),  institutionalization  de  la  innovation 
(hip.  2.6.1);  impacto  en  el  estudiante  (hip.  2.1). 

El  diseno  (B)  por  su  naturaleza  impide  ser  tan  explfcito  en  la  concrecion  de  las 
hipotesis,  siendo  el  enunciado  de  estas  mas  un  medio  y un  fin  que  el  inicio  del  pro- 
ceso investigador.  En  efecto,  no  se  trata  de  conocer  como  el  profesorado  lleva  a la 
practica  las  diversas  innovaciones  proyectadas  como  el  comprender  como  estas 
innovaciones  son  representadas  y percibidas  desde  los  propios  participantes  en  la 
innovacion.  En  este  sentido,  los  estudios  de  casos  previstos  seguirfan  el  procedi- 
miento  caracterfstico  del  metodo  etnografico,  que  supone  un  proceso  inter activo  entre 
las  diversas  fases  de  seleccion  de  informantes  y fuentes  de  informacion,  recogida  y 
analisis  de  la  informacion  y elaboracion  de  categorfas/dimensiones  e hipotesis  que 
han  de  contrastarse  de  nuevo  con  las  fuentes  y con  nuevos  analisis  en  un  proceso 
recurrente. 

Las  variables  implicadas  en  el  diseno  (A)  vienen  articuladas  por  la  hipotesis  gene- 
ral  1,  y por  tanto  con  la  relacion  recfproca  entre  el  desarrollo  de  la  innovacion  y el  des- 
arrollo profesional  docente  del  profesorado  participante  en  la  misma.  Todas  ellas 
pueden  englobarse  en  tres  generales:  a)  competencias  instruccionales,  (b)  competencias  de 
evaluation  y c)  profesionalidad.  La  primera  (a)  hace  referencia  a las  destrezas  comunicati- 
vas en  el  aula  y con  el  resto  de  los  companeros,  a la  gestion  e interaccion  en  el  aula,  a la 
programacion  y desarrollo  de  las  materias  que  han  de  ensenarse.  La  dimension  b) 
implica  conocimientos  sobre  evaluation  de  los  estudiantes,  destrezas  de  construccion 
y administracion  de  pruebas  de  conocimientos  y procedimientos,  evaluacion  del  pro- 
ceso y del  resultado,  rendimiento  de  los  alumnos.  La  dimension  c)  involucra  aspectos 
eticos,  de  actitud  hacia  la  profesion,  implicacion,  de  servicio  publico,  de  superacion, 
autoestima,  etc. 
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En  el  diseno  (B)  las  dimensiones  (o  macrocategorias)  de  analisis  de  partida  pueden 
ser  los  cambios  en  a)  las  concepciones  curriculares,  b)  las  condiciones  que  facilitan  el  cambio 
y c)  las  aportaciones  y exigencias  que  la  innovacion  implica  a cada  profesor  partici- 
pante  en  una  innovacion.  En  a)  se  trata  de  identificar  cambios  en  la  conception  y la 
practica  de  la  ensenanza,  aprendizaje  y la  evaluation.  La  dimension  b)  recoge  aspectos 
que  inciden  en  la  organization  de  la  innovacion:  modelo  de  innovacion,  negotiation 
sobre  la  innovacion,  interaction  profesor-alumno,  apoyo  institutional  y seguimiento 
de  la  innovacion.  En  c)  se  pueden  configurar,  entre  otros,  los  siguientes  aspectos:  mejo- 
ra  de  la  autoestima  profesional,  mejora  de  relaciones  entre  el  profesorado,  apertura  a 
nuevos  valores  profesionales  (reflexion  crftica,  investigation  en  el  aula,  formation  per- 
manente...). 

Tecnicas  de  recogida  de  information 

Tanto  en  (A)  como  en  (B)  se  utilizaron  similares  fuentes  de  informacion  en  princi- 
pio,  esto  es,  principalmente  toda  la  documentation  disponible  en  la  Universidad  de 
Malaga  sobre  proyectos  de  innovacion  desarrollados  en  el  pasado  y en  proceso  en  la 
actualidad  (convocatorias,  proyectos  iniciales,  informes,  memorias,  publicaciones, ...), 
las  opiniones  de  los  responsables  institucionales,  del  profesorado  y del  alumnado 
implicado.  Sin  embargo,  existen  claras  diferencias  derivadas  de  los  instrumentos  y tec- 
nicas de  recogida  de  la  informacion. 

Como  tecnicas  de  recogida  de  datos  en  (A)  se  aplicaron  cuestionarios  a una  muestra 
aleatoria  de  profesores  de  la  Universidad  de  Malaga  y a una  muestra  aleatoria  de 
alumnos  implicados,  y entrevistas  estructuradas  a los  coordinadores  de  los  equipos  de 
profesores  y a los  responsables  institucionales.  Sobre  los  documentos  recopilados  se 
aplicaron  diversas  hojas  de  registro  (planillas)  de  las  que  se  obtuvo  informacion  sobre 
las  variables  relevantes. 

Las  tecnicas  de  recogida  de  informacion  previstas  en  (B)  son  el  diario  de  campo,  logi- 
camente,  la  observation  participante,  la  entrevista  en  profundidad,  la  fotografi'a  de  escena- 
rios  relevantes  y la  aplicacion  de  cuestionarios  abiertos  de  manera  limitada.  Previa 
negotiation  se  fijo,  en  cada  caso,  el  nivel  de  participation  permitido  en  segun  que  cir- 
cunstancias  (reuniones  de  coordination,  seguimiento...).  Sobre  los  documentos  referi- 
d6s  anteriormente  se  realizaron  analisis  de  contenidos. 

Criterios  utilizados  para  valorar  la  information 

En  general  la  suficiencia,  la  viabilidad  y la  evaluabilidad  de  la  informacion.  En  par- 
ticular, para  el  diseno  (a)  la  consistencia  de  los  juicios  y la  contestation  de  las  infor- 
maciones,  y para  (b)  la  credibilidad,  la  confirmabilidad,  la  dependencia  y la 
transferibilidad  de  la  informacion. 
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Tecnicas  de  registro  y analisis  de  la  informacion 

Para  analizar  los  datos  obtenidos  a partir  del  diseno  (A)  se  realizaron  sendos  anali- 
sis descriptivos  univariante  y bivariante,  fundamentalmente  analisis  de  frecuencias  y 
porcentajes,  tablas  de  contingencia  y ji-cuadrado.  Tambien  fue  muy  util  realizar  un 
analisis  multivariante  de  reduction  de  datos  para  obtener  criterios  para  clasificar, 
agrupar  y organizar  los  datos  representando  las  caracteristicas  mas  relevantes  de  los 
mismos.  Asimismo,  se  realizaron  contraste  de  hipotesis  para  senalar  las  diferencias 
entre  las  respuestas  de  los  profesores  participantes  en  proyectos  de  innovacion  y/o 
talleres  y las  respuestas  de  los  profesores  no  participantes. 

La  intention  interpretativa  del  diseno  (B)  de  la  investigation  dota  al  analisis  de 
datos  de  una  caracteristica  peculiar  en  el  sentido  de  que  no  lo  circunscribe  a una  fase  o 
periodo  determinado  a diferencia  de  lo  que  ocurre  en  el  otro  diseno.  Como  ya  se  ha 
indicado  anteriormente,  el  analisis  de  datos  se  hizo  de  manera  recurrente,  esto  es,  se 
produjo  desde  momentos  anteriores  a la  propia  recogida  de  datos,  durante  ella  misma 
y,  como  no,  tras  recoger  la  informacion  relevante. 

Durante  el  analisis  cualitativo  se  realizaron  diversas  actividades  y construcciones 
segun  una  escala  creciente  de  abstraction  y generalization,  como  es:  un  analisis  especu- 
lativo,  la  clasificacion  y categorization,  la  formation  de  conceptos,  los  modelos  y tipologias,  de 
forma  que,  progresivamente,  los  datos  iban  tomando  cuerpo  de  teoria. 

Como  estrategias  o procedimientos  generales  se  utilizaron  la  induction  analitica  y 
las  comparaciones  constantes,  como  tecnicas  inductivas  para  la  generation  de  teoria;  el 
analisis  tipologico,  que  debe  permitir  de  manera  flexible  la  consideration  o elimination 
de  categorias  segun  su  relevancia;  y la  enumeration,  cuando  era  posible  categorizar  la 
informacion  con  la  claridad  suficiente. 

Todos  estos  procesos  de  teorizacion  genericos  y procedimientos  analiticos  mencio- 
nados  anteriormente  constituyen  verdaderos  instrumentos  conceptuales  para  la  elabo- 
ration de  los  analisis.  El  proceso  de  analisis,  que  se  extendio  incluso  hasta  la 
integration  e interpretation  de  los  resultados,  se  ayudo  de  la  elaboration  de  graficas 
descriptivas  (esquemas  contextuales  y de  evaluation  de  una  situation),  graficas  expli- 
cativas  (diagramas  de  dispersion,  causales  y esquemas  de  flujo  del  estado  de  cualquier 
acontecimiento),  matrices  descriptivas  (v.  g.  ordenadas  o meta-matrices)  y explicativas 
(v.  g.  de  efectos). 

La  triangulacion  se  utilizo  para  analizar  aspectos  fundamentals  de  las  experien- . 
cias  de  innovacion,  debido  a la  posibilidad  de  fluidez  y contraste  de  la  comunicacion 
que  se  transmitio  desde  los  diversos  angulos  o perspectivas  implicadas 

Para  integrar  la  informacion  se  uso  analisis  de  la  red  de  datos  cualitativos,  analisis 
de  discursos,  analisis  fenomenologico  de  datos  de  las  entrevistas  y el  analisis  de  reu- 
niones  situacionales. 

Tipos  de  decisiones 

Cada  fuente  de  informacion,  y todos  los  analisis  y valoraciones  que  se  hicieron  a 
partir  de  cada  una,  estan  a disposition  de  los  correspondientes  implicados  para  garan- 
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tizar  la  transparency  del  proceso  y que  las  conclusiones  del  trabajo  sean  compartidas 
y ayuden  a encontrar  vias  de  solucion  a las  necesidades  alii  donde  se  originen.  Ade- 
mas,  las  diversas  autoridades  educativas  (universidades,  consejeria  y ministerio)  son 
informadas  para  que  tomen  conciencia  de  los  resultados  del  estudio  y los  puedan 
tener  en  cuenta  a la  hora  de  la  planificacion  y gestion  de  los  recursos  para  la  ensenan- 
za  en  la  Universidad. 

Informe 

Los  informes  de  los  estudios  de  caso  tienen  estructura  y amplitud  variable,  y tienen 
como  destinatario  principal  los  participantes  de  cada  «caso». 

El  informe  global  tiene  como  destino  el  Centro  de  Documentacion  e Investigacion 
Educativa  (CIDE),  y tiene  la  estructura  de  acuerdo  con  la  convocatoria  publicada  en  la 
orden  de  23  de  septiembre  de  1997  por  la  que  se  convoca  el  concurso  nacional  para 
otorgar  ayudas  a la  investigacion  educativa.  (B.O.E.  num.  243,  de  10  de  octubre  de 
1997).  Una  version  resumida  de  este  informe  global  sera  entregada  al  resto  de  autori- 
dades educativas  con  el  permiso  del  organismo  convocante  de  las  ayudas. 
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PRIMER  INFORME 

TITULO  DEL  PROGRAMA:  EL  DESARROLLO  PERSONAL  Y SOCIAL:  EL  AUTO- 
CONCEPTO 


RESPONSABLE  DEL  PROGRAMA: 

La  orientadora. 

RESPONSABLE  DE  LA  EVALUACION 

La  orientadora-investigadora. 

OBJETO  EVALUADO 

Se  trata  de  un  programa  de  desarrollo  personal  y social  instructivo  que  proporcio- 
na  estrategias  y habilidades  que  fomentan  el  desarrollo  de  un  positivo  autoconcepto, 
destinado  a los  alumnos  del  tercer  ciclo  de  Primaria  y de  Educacion  Secundaria  Obli- 
gatoria. 

OBJETIVOS  DE  LA  EVALUACION 

— Controlar  y analizar  la  evaluation  de  la  viabilidad  del  programa,  a traves  de  un 
estudio  de  la  calidad  tecnica  del  mismo  y su  adecuacion  y adaptation  al  contexto. 

— Realizar  la  evaluabilidad  o validation  del  programa  a traves  de  una  serie  de  cri- 
terios  e indicadores  de  evaluation. 
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— Analizar  la  evaluation  de  proceso  del  programa  aplicado  por  medio  de  la  eva- 
luation de  la  implementation  y de  la  evaluation  de  desarrollo. 

— Analizar  y estudiar  los  efectos  del  programa  adaptado  y disenado  espetifica- 
mente  de  autoconcepto  a traves  de  la  evaluation  de  la  eficacia  y efectividad. 

— Realizar  una  valoracion  general  del  programa  contrastando  las  modificaciones 
o cambios  producidas  en  las  variables  de  estudio. 

Funcion:  Se  trata  de  una  evaluation  formativa  y sumativa  con  una  finalidad  pre- 
ventiva  y de  desarrollo  de  todo  el  proceso. 

Paradigma:  Trabajamos  desde  un  paradigma  eclectico;  nuestro  enfoque  se  basa 
fundamentalmente  en  un  modelo  tecnologico:  dependiendo  de  las  fases  de  la  evalua- 
tion nos  situamos  mas  en  postura  mas  cualitativa  o mas  cuantitativa. 

Modelo:  Modelo  de  evaluation  de  programas  de  Hernandez  Fernandez,  J.  y Marti- 
nez Clares,  P.  (1996).  Modelo  que  consta  de  cinco  fases: 

la  Fase:  Supuestos  teoricos  o previos 

2a  Fase:  Viabilidad  de  la  evaluation 

3a  Fase:  Evaluabilidad  o validation  de  la  evaluation. 

4a  Fase:  Evaluation  del  proceso:  evaluation  de  la  implementation  y evaluation  de 
desarrollo. 

5a  Fase:  Evaluation  de  la  eficacia. 

METODOLOGIA 

Diseno:  Hemos  utilizado  un  diseno  cuasi-experimental-descriptivo,  ya  que  trata- 
mos  de  establecer  relaciones  entre  el  programa  y sus  posibles  logros  y/o  resultados,  y 
porque  nos  detenemos  en  describir  los  procesos  que  ocurren  en  la  aplicacion  del  pro- 
grama en  sus  distintas  fases.  Se  trata  de  un  diseno  cuasi  experimental-descriptivo  con 
un  diseno  de  grupo  de  control  no  equivalente. 

Tecnicas  de  recogida  de  datos:  Para  la  exploration  initial  del  autoconcepto  utiliza- 
mos  el  cuestionario  de  Autoconcepto  de  Musitu,  Garda,  y Gutierrez  (1991)  AFA:  Auto- 
concepto. Forma-A.  Tambien  se  utilizo  un  diario  de  investigation  y una  escala  de 
estimation  de  observation  de  las  distintas  sesiones.  Igualmente  se  realizaron  entrevistas 
con  los  tutores  de  los  distintos  grupos  de  alumnos  y,  al  finalizar  cada  sesion,  se  procedia  a 
una  mini-asamblea  para  obtener  information  directa  durante  todo  el  proceso.  Asimismo, 
otro  instrumento  de  recogida  de  datos  fueron  los  propios  materiales  de  los  alumnos/ as 
derivados  de  la  realization  del  programa.  Al  finalizar  el  programa,  se  procedio  a la  cum- 
plimentacion  de  un  cuestionario  de  evaluation  por  parte  del  alumnado  y los  tutores. 

Tecnicas  de  registro  y analisis  de  la  information:  todos  los  datos  recogidos  en  el 
estudio  o trabajo  de  campo  fueron  introducidos  en  una  base  de  datos  (dBase  III  Plus)  y 
para  el  analisis  estadistico  de  resultados  se  utilizo  el  paquete  estadistico  SPSS/PC+. 
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Se  fueron  realizando  diferentes  tipos  de  analisis  en  funcion  del  tipo  de  variable  que 
relacionabamos  con  el  autoconcepto.  Fundamentalmente  se  llevo  a cabo  un  estudio 
descriptivo  para  poder  realizar  un  estudio  analitico  y terminamos  con  un  estudio  com- 
parative entre  los  grupos. 

Informe:  Concluimos  este  trabajo  elaborando  un  doble  informe:  por  una  parte  se 
realizo  un  informe  para  el  centro,  destinado  al  claustro,  al  consejo  escolar  y,  principal- 
mente,  a los  profesores  tutores  implicados  en  el  mismo.  Por  otra,  se  realizo  una  tesis 
doctoral,  con  una  exploitation  detallada  de  todas  las  fases  de  la  evaluacion  del  pro- 
grama  y las  conclusiones. 
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SEGUNDO  INFORME 

TITULO  DEL  PROGRAMA:  PROYECTO  CURRICULAR  DE  EDUCACION  SECUN- 
DARIA OBLIGATORS 


RESPONSABLES  DEL  PROGRAMA 

Profesores  y profesoras  que  imparten  docencia  en  la  etapa  de  Education  Secunda- 
ria Obligatoria. 

RESPONSABLES  DE  LA  EVALUACI6N 

Todos  los  profesores  y profesoras  de  Education  Secundaria  Obligatoria  del  Institu- 
te, asi  como  — con  una  mayor  implication — > la  Comision  de  Coordination  Pedagogi- 
ca  del  Centro  y una  investigadora  externa,  que  actua  como  asesora,  compartiendo 
responsabilidades  con  el  resto  de  agentes  evaluadores. 
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OBJETO  EVALUADO 

Proyecto  Curricular  de  Educacion  Secundaria  Obligatoria. 

OBJETIVOS  DE  LA  EVALUACION: 

1.  Permitir  un  amplio  conocimiento  de  los  elementos  que  configuran  el  Proyecto 
Curricular  de  Etapa  (PCE)  asi  como  una  reflexion  conjunta  del  desarrollo  y 
resultados  del  mismo. 

2.  Reflexionar  sobre  la  praxis  evaluativa  actual  y adoptar  un  sistema  de  evalua- 
tion que  responda  a un  proceso  funcional  de  dialogo,  consenso  y mejora. 

3.  Impulsar  la  autoevaluacion  en  el  Instituto  con  el  fin  de  mejorar  la  calidad  de  los 
procesos  de  ensenanza-aprendizaje  que  en  el  se  imparten. 

4.  Difundir  una  cultura  evaluadora  dentro  del  instituto,  de  modo  que  la  evalua- 
tion quede  enmarcada  dentro  de  las  propias  actividades  de  la  action  docente, 
haciendo  latente  la  perception  de  que  la  misma  es  conveniente,  necesaria  y 
favorable  para  el  propio  Centro. 

5.  Potenciar  la  evaluacion  como  elemento  dinamizador  de  los  procesos  educati- 
vos,  favorecedor  de  acciones  coherentes  y fundamentadas  y de  actuaciones 
colegiadas  y comprometidas,  capaces  de  superar  acciones  improvisadas  e indi- 
vidualistas. 

6.  Considerar  la  evaluacion  del  PCE  como  un  proceso  inacabado,  permanente- 
mente  revisable  y abierto  a reajustes  consensuados. 

7.  Ofrecer  al  Instituto  procedimientos  e instrumentos  de  evaluacion  que  faciliten 
la  evaluacion  interna  del  propio  PCE. 

8.  Reflexionar  sobre  la  adecuacion  de  los  objetivos  generales  de  Etapa  y los  de  cada 
una  de  las  areas  y materias  y evaluar  su  adecuacion  al  contexto  del  Instituto. 

9.  Estudiar  la  selection,  distribution  y secuenciacion  de  contenidos  inter  e intraci- 
clos  e introducir  las  modificaciones  pertinentes  segun  vayan  surgiendo. 

10.  Valorar  la  idoneidad  de  la  metodologfa  explicitada  en  el  PCE  e ir  estableciendo 
los  cambios  oportunos  en  este  ambito,  asf  como  en  lo  que  respecta  a las  decisio- 
nes  sobre  agrupamientos,  organization  de  tiempos  y espacios  y de  los  materia- 
les  curriculares  y didacticos  empleados. 

11.  Reflexionar  sobre  la  validez  de  las  estrategias  y procedimientos  de  evaluacion  y 
establecer  la  correspondiente  toma  de  decisiones  que  conduzcan  hacia  una 
mejora  de  la  evaluacion  del  aprendizaje  de  los  alumnos,  la  practica  docente  y el 
propio  PCE. 

12.  Analizar  las  actividades  de  orientation  educativa  y profesional  explicitadas  en 
el  PCE  y evaluar  su  idoneidad. 

13.  Valorar  la  oferta  de  materias  optativas  realizada  por  el  Instituto  y comprobar  su 
adecuacion  a las  necesidades  educativas  de  los  alumnos. 

14.  Evaluar  la  validez  de  los  criterios  aplicados  en  la  adaptation  del  curriculo  para 
alumnos  con  necesidades  educativas  especiales,  asi  como  la  efectividad  de  los 
programas  de  diversification  curricular  adoptados  en  el  Instituto. 
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15.  Fomentar  la  metaevaluacion  como  proceso  para  apreciar  si  el  metodo  y las  tec- 
nicas  empleadas  han  sido  adecuadas,  si  los  logros  responden  a los  objetivos 
propuestos  y si  el  proceso  de  evaluacion  ha  respetado  las  pautas  eticas  respecto 
a los  evaluados  y a los  evaluadores. 

Funciones:  Funcion  formativa,  la  cual  ha  permitido  conocer  en  profundidad,  com- 
prender  y mejorar  el  PCE;  funcion  sumativa,  que  ha  logrado  sintetizar,  explicar  y valo- 
rar  los  resultados  de  la  aplicacion  del  PCE;  por  ultimo,  funcion  administrativa,  la  cual 
ha  permitido  responder  a las  prescripciones  exigidas  por  el  MEC  (Hernandez  Pina, 
1995). 

Paradigma:  Enmarcamos  la  evaluacion  del  PCE  dentro  del  paradigma  orientado 
hacia  la  toma  de  decisiones  y el  cambio,  en  donde  hemos  dado  una  especial  relevancia 
a los  aspectos  cualitativos,  aunque  no  hemos  descartado  el  empleo  de  tecnicas  cuanti- 
tativas. 

Modelo:  Desarrollado  por  Garcia  Sanz  (1999)  y Hernandez  Pina  y Garcia  Sanz  (en 
prensa). 

METODOLOGIA  DE  LA  EVALUACION 

• Muestra:  53  profesores  que  impartieron  docencia  en  ESO  en  un  Instituto  duran- 
te el  curso  academico  1997-98. 

• Tecnicas  e instrumentos:  Para  la  recogida  de  information  contamos  con  los 
siguientes  tipos  de  tecnicas:  observation  participante,  entrevistas,  grupos  de 
discusion,  analisis  de  contenido,  supervision  clinica,  triangulacion  y un  cuestio- 
nario  para  evaluar  el  PCE. 

• Procedimiento:  La  evaluacion  del  PCE  se  ha  llevado  a cabo  mediante  procedi- 
mientos  propios  de  la  investigation  cooperativa,  distinguiendose  tres  momen- 
tos:  una  fase  inicial,  que  ha  incluido  la  realization  de  los  preparativos,  los 
primeros  contactos  con  el  Centro  y la  elaboration  provisional  de  un  cuestiona- 
rio  base  para  evaluar  el  PCE;  una  fase  de  desarrollo,  en  la  que  se  ha  llevado  a 
cabo  la  evaluacion  inicial,  procesual  y sumativa  del  PC;  y una  fase  final,  que  ha 
incluido  un  analisis  cualitativo  y cuantitativo  de  los  datos  y la  metaevaluacion 
del  proceso. 

• Tipos  de  decisiones:  Las  decisiones  tomadas  se  han  traducido  en  el  estableci- 
miento  de  una  serie  de  propuestas  para  mejorar  el  PCE  y su  puesta  en  practica, 
a realizar  a corto  y medio  plazo. 

Informe  de  evaluacion:  Se  han  realizado  dos  tipos  de  informes:  Por  una  parte,  uno 
de  corta  extension,  incluido  en  la  memoria  final  del  curso,  por  lo  tanto,  dirigido  al  pro- 
fesorado  y a la  Administration.  Por  otra  parte,  un  informe  mucho  mas  extenso  — Tesis 
Doctoral  (Garcia  Sanz,  1999) — , dirigido  a la  comunidad  cientifica. 
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UNIVERSIDAD  DE  NAVARRA 


Charo  Reparaz 

Departamento  de  Educacion 


PRIMER  INFORME 

TlTULO  DEL  PROGRAMA:  PROYECTO  EGO-ETNO  (EGOCENTRISMO-ETNO- 
CENTRISMO)  DE  INVESTIGACION-ACCION  Y FORMACION  PEDAGOGICA 
EN  EDUCACION  INTERCULTURAL 


Dirigido  por  un  equipo  investigador  del  Instituto  Regionale  di  Ricerca  Sperimentazio- 
ne  Aggiornamiento  Educativi  (I. R.R.S. A. E. -Lombardia)  de  Italia.  Investigador  principal 
Cesare  Scurati.  Los  palses  participantes  fueron:  Italia,  Francia,  Gran  Bretana,  Alemania 
y Espana.  A1  Departamento  de  Educacion  de  la  Universidad  de  Navarra  le  fue  confia- 
da  la  realization  y supervision  de  la  investigation  en  Espana. 

RESPONSABLE  DEL  PROGRAMA 

Supervisora:  Ma  del  Coro  Molinos  Tejada 
Tutora:  Ma  Luisa  Duran  Los  Arcos 

RESPONSABLE  DE  LA  EVALUACION 

Equipo  investigador  del  Instituto  Regionale  di  Ricerca  Sperimentazione  Aggiornamiento 
Educativi  (I.R.R.S.A.E.-Lombardia)  de  Italia. 

OBJETO  EVALUADO 

Programa  de  Educacion  Intercultural. 
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OBJETIVOS  DE  LA  EVALUACION 


Comprobar  los  cambios  de  actitudes  en  los  alumnos,  tras  una  doble  intervention 
con  metodologfa  de  tipo  afectivo-cognitivo  clfnico  aplicada  a la  discusion  a)  de  expe- 
riencias  personales  del  alumno,  y b)  de  situaciones  descritas  en  materiales  didacticos, 
especfficos  para  la  education  intercultural. 

Funcion:  Inicial,  diagnostica  y sumativa. 

Paradigma:  Eclectico: 

— Tests  estandarizados:  B.A.S.  y P.F.S.E. 

— Cuestionario  Proyectivo  basado  en  imagenes:  test  Ego-Etno. 

(Elaborado  por  el  equipo  italiano  del  IRRSAE) 

Modelo:  Evaluation  Test-Retest. 

METODOLOGIA  DE  LA  EVALUACION 


Diseno: 

Se  evaluo  la  situation  de  entrada  de  los  alumnos  en  relation  a sus  actitudes  y habi- 
lidades  sociales  y el  cambio  experimentado:  a)  tras  una  intervention  con  metodologfa 
de  tipo  afectivo-cognitiva;  y b)  tras  una  intervention  de  tipo  didactico-curricular  com- 
binada  con  la  metodologfa  afectivo-cognitiva. 


Tecnicas  de  recogida  de  la  information: 

— B.A.S.-3  — Baterfa  de  socialization — Silva  Moreno,  F.  y Martorell  Pallas,  M.  C., 
Ed.  TEA. 

— P.F.S.E.  — Cuestionario  de  actitudes — Nivel  elemental,  Yuste  Hernanz,  C.,  Ed. 
CEPE. 

— Cuestionario  Proyectivo  basado  en  imagenes:  Test  Ego-Etno  (Elaborado  por  el 
equipo  italiano  del  IRRSAE). 

— Entrevistas  con  los  profesores-investigadores. 

— Observaciones  de  los  profesores-investigadores. 

— Diarios  de  clase  de  los  profesores-investigadores. 

— Analisis  de  los  materiales  didacticos. 


Criterios  para  valorar  la  information: 

La  calidad  tecnica  del  Programa,  su  adecuacion  y eficacia. 
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Referencias: 

Progreso  sobre  el  propio  Programa. 

Tecnicas  de  registro: 

Sesiones  participativas  de  exposition,  debate  y conclusion. 

Las  tecnicas  de  analisis  propias  de  los  cuestionarios  utilizados. 
Auditoria  externa  de  investigadores  expertos  en  el  tema. 

Tipos  de  decisiones: 

Continuidad  y mejora  del  Programa. 


SEGUNDO  INFORME 

Tl'TULO  DEL  PROGRAMA:  ESTIMULACION  TEMPRANA:  UNA  MEDIDA  DE  ENRI- 
QUECIMIENTO  CURRICULAR  EN  EDUCACION  INFANTIL 

Equipo  investigador  del  IRRSAE. 

RESPONSABLE  DEL  PROGRAMA 

Departamento  de  Educacion  de  la  Universidad  de  Navarra:  Lie.  Dna.  Sonia  Rivas 
Borrell.  [Direction  Dra.  Dna.  Felisa  Peralta  Lopez,  parte  teorica,  y Dr.  D.  Angel  Sobrino 
Morras,  parte  metodologica]. 

RESPONSABLE  DE  LA  EVALUACION: 

Dna.  Sonia  Rivas  Borrell  con  orientaciones  del  Dr.  D:  Angel  Sobrino  Morras. 
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OBJETO  EVALUADO: 

Programa  de  estimulacion  temprana  desarrollado  en  el  centro  de  education  infantil 
Kutunbaita  (San  Sebastian).  Aspectos  cognitivos,  afectivos  y de  socialization,  comuni- 
cativos  y motrices. 

Edades  de  los  ninos  2 y 3 afios  cumplidos  (2  grupos  distintos).  Se  trata  de  compro- 
bar  la  evolution  de  los  ninos  de  3 anos,  una  vez  que  abandonan  el  programa  despues 
de  dejar  Kutumbaita  en  junio  de  2000. 

OBjETIVOS  DE  LA  EVALUACION: 

Comprobar  las  variables  que  inciden  en  la  eficacia  y en  la  calidad  del  programa. 

Funcion:  Formativa.  Para  orientar  a la  direction  sobre  puntos  de  mejora  en  su  tarea 
educativa,  e incidir  o abandonar  los  puntos  que  se  crean  oportunos. 

Paradigma:  Paradigma  cualitativo  mas  que  cuantitativo.  A pesar  de  que  se  admi- 
nistren  unas  pruebas  a los  ninos,  no  solamente  se  evaluara  esta  variable,  sino  que  tam- 
bien  se  tendran  en  cuenta  otras  como  puede  ser  el  profesorado,  su  ambiente  familiar  y 
educativo,  e incluso  la  misma  institution  escolar,  siguiendo  los  criterios  de  la  perspec- 
tiva  ecologica  de  Bronfenbrenner  y el  modelo  transaccional  de  Sameroff. 

Modelo:  Se  tendra  en  cuenta  el  modelo  CIPP  de  Stufflebeam. 

METODOLOGIA  DE  LA  EVALUACION 
Tecnicas  de  recogida  de  informacion: 

— Observation  no  participante  de  los  ninos,  de  la  actividad  diaria  de  las  profeso- 
ras  en  contextos  academicos  y no  academicos,  entrevistas  a los  profesores  y a la 
directora. 

— Intrumento  utilizado  con  los  ninos:  escala  Haitzea,  baremada  en  1991  (estudio 
estadxstico  realizado  por  la  editorial  TEA)  en  poblacion  vasca. 

— Escala  Home,  para  evaluar  la  estimulacion  proporcionada  en  el  ambiente  fami- 
liar. 

Criterios  utilizados  para  valorar  la  informacion: 

— Evaluabilidad  del  programa,  eficacia  y eficiencia. 

Referencias: 

— Estandares  prefijados:  objetivos  curriculares  que  propone  la  LOGSE  en  los 
diversos  documentos;  poblacion  vasca  estandarizada  de  la  escala  Haizea,  que 
sirve  como  grupo  de  control. 
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T ecnica  de  registro  y analisis  de  la  informacion: 

Registro  mediante  un  diario  de  campo.  El  propio  evaluador  es  el  que  realiza  la 
recogida  de  informacion:  no  se  utilizan  medios  audiovisuales. 

Tipos  de  decisiones: 

De  mejora  del  programa.  Optimization  educativa. 

Informe 

Para  el  centro  educativo  Kutunbaita  (cliente  que  demando  que  se  realizara  la  eva- 
luation). Extensible  aunque  no  generalizable  a otros  centros  educativos. 

Parte  experimental  de  una  tesis  doctoral. 


TERCER  INFORME 

TlTULO  DEL  PROGRAMA:  REVISION  DE  SOFTWARE  PARA  DESARROLLAR  EXA- 
MENESY  SER  DISTRIBUIDOS  ATRAVES  DE  REDES  ( INTERNET  O INTRANET) 


RESPONSABLE  DEL  PROGRAMA 

Diferentes  compafuas  comerciales  y universidades 

RESPONSABLE  DE  LA  EVALUACION 

Sonia  Lara  Ros 

OBJETO  EVALUADO: 

El  software  actualmente  disponible  para  realizar  examenes  y ser  distribuidos  a tra- 
ves  de  redes  ( Internet  o Intranet). 

OBJETIVOS 


Presentar  las  actuales  posibilidades  que  las  redes  ofrecen  para  generar  examenes  a 
traves  de  redes. 
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Presentar  las  principales  capacidades  instructivas  del  software  revisado  para  poder 
emplearlo  en  procesos  de  evaluacion  formativa,  tanto  en  ensenanza  presencial  como 
no  presencial. 

Funcion:  Revision  del  software  disponible  atendiendo  a diferentes  criterios  (ins- 
tructivos,  capacidades  para  hacer  analisis  estadisticos,  costes  y cuestiones  tecnicas) 

Paradigma:  cuantitativo  y cualitativo 

Modelo:  CIPP 

METODOLOGIA  DE  LA  EVALUACION 

Diseno 

Tecnicas  de  recogida  de  informacion: 

En  una  primera  aproximacion  se  busco  y selecciono  el  software  que  iba  a ser  objeto 
de  la  evaluacion.  Para  conseguir  este  software  se  recurrio  al  citado  en  la  investigacion 
educativa  (artfculos,  comunicaciones  y libros),  y a busquedas  en  Internet. 

La  seleccion  del  software  que  finalmente  se  reviso  atendio  a varios  criterios: 

* Software  que  pudiera  plantear  la  implantacion  de  evaluacion  por  si  mismo, 
haciendose  cargo  de  todos  los  aspectos  necesarios  (servidor,  recogida  de  datos, 
y gestion  de  la  informacion).  Se  descartaron  los  programas  denominados  herra- 
mientas  de  autor  por  no  permitir  recoger  o almacenar  los  resultados  de  los  exa- 
menes  en  un  servidor  Tambien  se  descarto  el  software  para  construir  cursos  en  el 
web,  por  tener  tan  solo  un  modulo  dedicado  a la  evaluacion,  y por  la  necesidad 
de  contar  con  todo  el  paquete  para  emplear  el  de  evaluacion. 

* Dado  que  fue  abundante  la  informacion  encontrada,  se  selecciono  el  software  en 
funcion  de  la  utilizacion  o investigacion  que  sobre  el  habia  realizada  como  pri- 
mer filtro  de  la  evaluacion. 

Para  poder  revisarlo  se  conto  con  una  copia  de  demostracion  de  todo  el  software 
para  poder  instalarlo,  o de  una  cuenta  para  poder  acceder  a traves  del  web.  De  este 
modo  se  analizo  in  situ  todo  el  software.  En  total  ser  revisan  18  programas  (10  de  uni- 
versidades  y 8 comerciales). 

Criterios  utilizados  para  valorar  la  informacion: 

Suficiencia,  viabilidad,  eficacia,  eficiencia,  efectividad 

Referencias: 

Estandares  prefijados  (criterial)  y superioridad  sobre  otros  programas 


677 


Tecnicas  de  registro  y analisis  de  la  informacion: 

Toda  la  informacion  (grafica,  criterios  de  observacion  y comentarios)  se  recogio  en 
una  base  de  datos  (File  Maker)  que  permitio  la  posterior  tabulacion  de  la  informacion 
recogida. 

Tipos  de  decisiones: 

Ofrecer  los  puntos  fuertes  y debiles  de  cada  software.  Ofrecer  pautas  para  poder 
seleccionar  un  software  que  se  adecue  a las  necesidades  de  formacion  de  una  Institu- 
tion educativa. 

Informe 

Dirigido  a los  docentes  y profesionales  de  la  education  que  estan  interesados  en  la 
innova  cion  a traves  de  las  Tecnologfa  de  la  Informacion  y la  Comunicacion.  Nivel  edu- 
cativo  preferente  la  universidad  presencial  y no  presencial,  asi  como  empresas  de  for- 
macion  a distancia. 


CUARTO  INFORME 

TITULO  DEL  PROGRAMA:  PROGRAMA  DE  PREPARACION  AL  INGRESO  Y 
SEGUIMIENTO  PSICOPEDAGOGICO  DEL  NINO  HOSPITALIZADO 


RESPONSABLE  DEL  PROGRAMA 

Aquilino  Polaino  Lorente  y Olga  Lizasoain  Rumeu.  Departamento  de  Educacion. 
Universidad  de  Navarra. 

RESPONSABLE  DE  LA  EVALUACION 

Aquilino  Polaino  Lorente  y Olga  Lizasoain  Rumeu  (Departamento  de  Educacion. 
Universidad  de  Navarra),  en  colaboracion  con  el  personal  sanitario  de  la  planta  de 
Pediatria  de  la  Clinica  Universitaria  de  Navarra. 
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OBjETO  EVALUADO 


Programa  de  Intervention  Psicopedagogica  en  el  ambito  de  la  Hospitalization 
Infantil. 

OBJETIVOS  DE  LA  EVALUACION 

El  objetivo  principal  de  esta  investigation  es  ayudar  al  nino  mediante  un  programa 
de  preparation  a la  hospitalization  y seguimiento  psicopedagogico,  a la  vez  que  cola- 
borar  en  su  adaptation  a la  clinica.  Se  asume  que  esta  preparation  puede  contribuir  a 
disminuir  los  efectos  nocivos  y/o  iatrogenos  que  tradicionalmente  vienen  atribuyen- 
dose  a la  hospitalization  infantil. 

Funcion:  Initial  diagnostica  y post  aplicacion  del  programa  para  comprobar  su 
eficacia. 

Paradigma:  Cuantitativo 
Modelo:  Pretest-Postest 

METODOLOGIA  DE  LA  EVALUACION 

Diseno: 

Definition  de  la  muestra.  40  ninos  ingresados  en  la  planta  de  Pediatria  de  la  Clinica 
Universitaria  de  Navarra,  entre  8-12  anos,  con  una  enfermedad  cronica  o aguda  que 
requieran  una  hospitalization  de  media  duration  (minimo  una  semana  y maximo  20 
dias).  Los  probandos  se  distribuyeron  de  forma  aleatoria  entre  el  grupo  de  control  y el 
experimental. 

Se  trata  de  un  diseno  unifactorial  de  dos  grupos,  sobre  los  que  se  ha  empleado  la 
aleatorizacion  como  tecnica  de  control.  El  N de  los  sujetos  es  igual  en  ambos  grupos. 

Tecnicas  de  recogida  de  information: 

Variables  dependientes  basicas.  Totalidad  de  las  variables  medidas  con  escalas  e 
instrumentos  de  evaluation: 

— Depresion  infantil 

— Ansiedad  estado  y Ansiedad  rasgo 

— Autoconcepto  infantil 

— Habilidades  sociales 

— Locus  de  control 


679 


Variable  independiente 

Programa  de  Preparation  a la  Hospitalization  y Seguimiento  Psicopedagogico  del 
nino  hospitalizado  (PHSP). 

Referencias: 

Programas  del  ambito  anglosajon,  principalmente  norteamericanos. 

Tecnicas  de  analisis  de  la  information: 

Analisis  de  covarianza,  varianza  y correlaciones. 

Tipos  de  decisiones: 

Difusion  y aplicacion  mas  generalizada  del  programa  en  el  entorno  hospitalario. 
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UNIVERSIDAD  DEL  PAISVASCO/EHU 


8.  M.  Munarriz  y J.F.  Lukas 

Departamento  de  Metodos  de  Investigaci6n  y Diagn6stico  en  Education 


PRIMER  INFORME 

TlTULO  DEL  PROGRAMA:  EVALUACION  DEL  PROGRAMA  DE  MEDIO  ABIERTO 


RESPONSABLE  DEL  PROGRAMA 

Consorcio  para  la  Education  Compensatoria  y Formation  Ocupacional. 

RESPONSABLE  DE  LA  EVALUACION 

B.  Munarriz  y J.F.  Lukas.  Departamento  M.I.D.E.  - Universidad  del  Pais 
Vasco /EHU. 

OBJETO  EVALUADO 

Programa  de  Medio  Abierto  desarrollado  por  Educadores  Sociales 

OBJETIVOS  DE  LA  EVALUACION 

El  objetivo  general  de  la  evaluation  es  valorar  si  el  Programa  de  Intervention  en 
Medio  Abierto  funciona,  es  util  y es  necesario. 

Los  objetivos  espetificos: 

* Comprobar  si  el  Consorcio  ha  cumplido  con  sus  objetivos  y funciones. 

* Analizar  el  grado  de  cumplimiento  de  los  objetivos  referidos  a los  Ayuntamientos. 
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* Valorar  el  grado  de  coordination  entre  el  equipo  de  educadores  y otros  agentes 
implicados  en  el  trabajo  con  juventud. 

* Analizar  la  puesta  en  marcha  y desarrollo  del  Programa  por  parte  de  los  educa- 
dores. 

FUNCION 

El  Consorcio,  organo  que  financia  en  su  mayor  parte  el  programa  y realiza  el  segui- 
miento  del  mismo,  estaba  interesado  en  conocer  las  necesidades  de  la  poblacion  a quien 
se  dirige  el  programa  y la  eficacia  de  dicho  programa.  La  funcion  formativa  es  la  que  se 
manifiesta  como  la  mas  importante  desde  las  instituciones  implicadas,  ya  que  una  de  las 
finalidades  es  la  de  posibilitar  el  desarrollo  y la  mejora  del  mismo.  A medida  que  avan- 
zamos  en  la  comprension  de  los  problemas  somos  conscientes  de  la  funcion  de  control 
que  asume  los  cumplimientos  mfnimos  de  coordination  entre  instituciones.  La  funcion 
sociopolftica,  que  esta  implfcita  en  toda  evaluacion  y,  especialmente,  cuando  se  trata  del 
proyecto  coordinado  por  distintas  instituciones,  donde  conviven  polfticas  diferentes  e 
incluso  grados  de  implication  segun  la  responsabilidad  o titularidad  en  el  programa. 

Se  trata  de  un  trabajo  de  evaluacion  relacionado  con  las  polfticas  publicas.  Elio 
supone  la  necesidad  de  rendir  cuentas  y ofrecer  informacion  sobre  los  resultados  obte- 
nidos  de  cara  a estimar  la  calidad  de  los  programas  ofertados  con  dinero  publico,  asf 
como,  a plantear  lfneas  de  mejora. 

PARADIGMA 

La  election  del  enfoque  de  evaluacion  depende  del  tipo  de  programa  a evaluar,  de 
la  finalidad  del  mismo  e incluso  del  alcance  del  programa. 

En  nuestro  caso,  las  caracterfsticas  del  programa  nos  afirmo  en  la  idea  de  compren- 
der  desde  dentro  tanto  las  necesidades  de  los  participantes  como  la  polftica  de  las  ins- 
tituciones implicadas.  Los  supuestos  del  paradigma  cualitativo  se  ajustaban  al 
enfoque  apropiado  para  la  evaluacion  del  programa. 

MODELO 

Las  negociaciones  con  las  instituciones  responsables  del  programa  nos  fueron  defi- 
niendo  el  modelo  de  evaluacion  mas  acorde  al  programa  en  cuestion.  Conocer  lo  que 
las  instituciones  y los  responsables  de  la  puesta  en  marcha  del  programa  pretendfan 
con  la  evaluacion,  nos  llevo  a conocer  el  problema  y enfocar  nuestro  estudio. 

Dentro  del  enfoque  cualitativo  que  planteamos,  nos  fuimos  decantando  por  un 
modelo  eclectico  que,  partiendo  del  material  disponible  y la  colaboracion  de  los  coor- 
dinadores  en  el  estudio,  con  lo  que  supone  de  apertura  o cooperation  en  la  recogida 
de  datos,  podamos  obtener  un  juicio  informado  sobre  el  programa. 

De  esta  forma,  nos  acercamos  a los  modelos  o propuestas  realizadas  por  Stake, 
estudio  naturalista  de  casos,  y Stufllebeam,  en  cuanto  a profundizar  en  la  informacion 
para  formular  juicios  que  posibiliten  la  mejora. 
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METODOLOGIA  DE  LA  EVALUACION 

La  propuesta  de  acercamos  a modelos  que  plantean  un  vision  holistica  del  objeto 
de  estudio,  implica  el  planteamiento  de  una  metodologia  que  recoja  o atienda  a los 
supuestos  que  se  requieren  para  llegar  a procesos  y resultados  con  la  validez  necesaria 
en  todo  trabajo  de  investigation.  En  este  sentido,  la  metodologia  va  a marcar  el  diseno 
de  evaluacion. 

Diseno 

La  planificacion  de  un  diseno  abierto,  respondente,  en  el  sentido  de  feek-back  cons- 
tante  entre  las  audiencias  implicadas  y los  evaluadores.  Un  diseno  que  permita 
crear/utilizar  estrategias  de  recogida  y analisis  de  datos,  segun  las  necesidades  del 
proceso. 

Asi,  desde  la  conception  de  un  diseno  que  se  va  estructurando  a medida  que  avan- 
za  el  proceso  planteamos  las  diferentes  estrategias. 

Tecnicas  de  recogida  de  information 

La  information  necesaria,  en  cualquier  proceso  de  evaluacion,  consta  de  una  parte 
documental,  que  ya  existe,  y la  que  depende  de  nuestras  indagaciones  durante  el  des- 
arrollo  de  la  evaluacion. 

Asi,  contamos  con  a)  documentos  oficiales  sobre  objetivos  y estructura  del  progra- 
ma  y b)  memorias  presentadas  a las  instituciones  y que  recogen  la  evaluacion  interna 
de  los  programas. 

Las  tecnicas  empleadas  durante  el  proceso  de  evaluacion  fueron  la  observation 
participante,  con  una  observadora  en  cada  municipio  donde  el  programa  era  objeto  de 
evaluacion;  entrevistas  a representantes  de  las  diferentes  audiencias  relacionadas  con 
el  programa;  encuestas  a todos  los  sujetos  participantes  directos  y/o  indirectos  en  el 
programa.  Cada  una  de  las  tecnicas  enfatiza  mas  la  recogida  de  un  tipo  de  datos.  La 
observation  nos  proporciona  datos  tanto  del  contexto  como  del  desarrollo  en  cada  uno 
de  los  lugares,  recogiendo  sus  peculiaridades  y el  dia  a dia  en  su  puesta  en  marcha.  La 
entrevista  esta  centrada  en  como  los  politicos,  asistentas  sociales  y educadores  sociales 
sienten  y perciben  el  programa  y sus  problemas  mientras  la  encuesta  recoge  el  impac- 
to  de  los  programas  en  la  comunidad.  Los  diferentes  datos  van  a posibilitar  la  triangu- 
lacion  a lo  largo  del  proceso. 

Criterios  utiiizados  para  valorar  ia  information 

En  un  primer  momento,  y antes  de  comenzar  la  evaluacion,  se  establecieron  unas 
primeras  reuniones  con  los  responsables  del  programa  con  el  fin  de  analizar  la  viabili- 
dad  de  la  evaluacion.  La  negotiation  estuvo  centrada  en  los  datos  que  nos  podian  pro- 
porcionar  (documentos  anteriores),  colaboracion  con  la  recogida  de  datos  durante  el 
proceso,  superando  la  petition  de  los  educadores,  que  abogaban  por  una  evaluacion 
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desde  la  metodologia  de  1/  A,  capaz  de  ayudar  en  su  formation  y las  instituciones  que 
planteaban  un  enfoque  mas  centrado  en  resultados.  Asi  mismo,  el  diseno  empleado 
fue  objeto  de  acuerdos  entre  las  partes,  al  igual  que  la  utilization  final  de  la  evalua- 
tion. De  esta  forma,  los  acuerdos  de  las  partes  implicadas  clarificaron  la  viabilidad  de 
la  evaluation  y sus  limitaciones. 

La  comparacion  de  la  information  recogida  sobre  los  logros  obtenidos  con  los  obje- 
tivos  previstos  en  el  programa,  nos  define  la  eficacia  del  mismo,  es  decir,  la  medida  del 
cumplimiento  de  los  objetivos  (objetivos/ resultados).  En  el  mismo  sentido,  las  infor- 
maciones  sobre  los  medios  utilizados  para  la  consecution  de  los  resultados  nos  pro- 
porciona  datos  que  nos  hablan  de  la  eficiencia  de  programa,  y por  ultimo  la 
comparacion  de  los  logros  obtenidos  con  las  necesidades  de  los  consumidores  dejan 
claro  la  efectividad  del  programa  objeto  de  la  evaluation. 

En  la  primera  fase  de  la  evaluation  que  presentamos  se  precisaron  los  criterios 
cuya  operatividad  nos  posibilitaba  el  analisis  de  la  congruencia  entre  lo  propuesto  y lo 
real,  teniendo  en  cuenta  los  objetivos,  medios  para  conseguirlos  y las  necesidades  de 
los  participantes. 

Referencias 

Las  utilizadas  para  la  valoracion  del  programa  del  medio  abierto  las  agrupamos  en 
torno  a referenda  criterial,  basada  en  niveles  especificados  en  la  primera  fase  de  la 
investigation  por  los  responsables  del  programa,  en  nuestro  caso  quedaban  concreta- 
dos  en:  compromises  por  parte  de  las  instituciones,  relaciones  entre  los  departamen- 
tos,  contribution  economica,  etc.;  e idiosincrdtica,  tomando  como  punto  de 
comparacion  los  logros,  considerados  por  los  responsables  satisfactorios,  del  propio 
programa  en  los  diferentes  municipios. 

Tecnicas  de  registro  y analisis  de  la  information 

Los  sistemas  de  registro,  logicamente,  estan  relacionados  con  las  tecnicas  de  recogi- 
da de  information: 


Sistemas  de  registro 

Procedimiento  analisis 

Programas  informaticos 

Mocumentos  varios: 

— normativas  legales 
— memorias  anuales  del 
programa  en  cada  municipio 

Analisis  de  contenido 

*actas  reuniones 
*notas  de  campo 
*entrevistas 
semiestructuradas 

transcription 
Analisis  contenido: 
Categorization 
Codification 

AQUAD 

*cuestionarios 

Categorizado 

SPSS 

858 
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La  triangulacion  de  datos,  momentos,  tecnicas,  expertos  y participantes  fue  utiliza- 
da  a lo  largo  de  todas  las  fases  de  la  evaluation. 

Tipos  de  decisiones 

El  hecho  de  ser  una  evaluacion  externa,  encargada  por  los  responsables  del  progra- 
ma desarrollado,  exige  a la  evaluacion  la  information  suficiente  para  poder  tomar 
decisiones  fuera  del  ambito  del  equipo  evaluador. 

En  nuestro  caso,  a partir  del  analisis  de  los  datos  se  fue  valorando  el  programa  a 
nivel  general  y por  municipios,  teniendo  en  cuenta  los  criterios  y referencias.  De  esta 
forma,  durante  el  proceso,  tomamos  directamente  decisiones  de  colaboracion/ayuda 
de  los  evaluadores  a quienes  desarrollaron  el  programa,  educadores  sociales,  en 
momentos  puntuales  y en  aras  de  una  implication  de  las  diferentes  audiencias  en  la 
propia  evaluacion.  Las  posibles  mejoras  del  programa  y la  decision  de  continuidad  o 
no  en  algunos  de  los  municipios  son  recomendaciones  desde  los  analisis  realizados 
cuya  responsabilidad  esta  en  los  patrocinadores  del  programa. 

Informe 

El  volumen  de  datos  en  una  investigation  evaluativa  de  enfoque  cualitativo,  obliga 
a organizar  y resumir  teniendo  en  cuenta  la  claridad  necesaria  tanto  en  el  analisis  de 
los  datos  como  en  la  valoracion  del  programa.  Ademas,  las  diferentes  audiencias 
requieren  una  precision  en  su  propio  programa.  Es  decir,  se  requiere  informes  diferen- 
tes que  recojan  exhaustivamente  los  datos  pero  en  poco  espacio. 

En  este  caso,  se  elaboraron  5 informes;  uno  global  para  las  instituciones  responsa- 
bles del  programa  (Bienestar  Social,  Juventud,  ambas  de  Diputacion,  y Education)  y 
otro  para  cada  uno  de  los  municipios,  detallando  las  informaciones  propias  del  pro- 
grama en  ese  ambito. 

La  estructura  del  infonne  presenta  en  primer  termino  las  recomendaciones  genera- 
les  y por  municipios;  las  conclusiones  en  referenda  a cada  objetivo  de  la  evaluacion; 
los  resultados  referidos  al  programa  desde  los  objetivos  y criterios /referencias,  junto 
con  la  definition  de  la  figura  del  educador  social  y la  reconstruccion  real  del  programa 
(lo  que  se  hace  en  cada  municipio)  y por  ultimo,  la  descripcion  del  proceso  y ejemplifi- 
cacion  de  los  analisis  realizados. 

Las  ejemplificaciones  no  solo  se  han  presentado  para  justificar  la  veracidad  de  las 
conclusiones,  sino  que  forman  parte  de  la  claridad  del  informe,  para  la  comprension 
del  mismo  por  parte  del  lector,  quedando  patente  en  ellas  la  complejidad  de  las  accio- 
nes  desarrolladas  a traves  de  un  programa  de  ayuda  social. 
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SEGUNDO  INFORME 

TlTULO  DEL  PROGRAMA:  EVALUACION  DE  CENTROS  DEL  PAIS  VASCO 


RESPONSABLE  DEL  PROGRAMA 

Departamento  de  Education  del  Gobierno  Vasco. 

RESPONSABLE  DE  LA  EVALUACION 


J.E  Lukas,  C.  Santiago,  B.  Munarriz,  N.  Moyano  y M.  Sedano  (Dpto.  MIDE.  Univer- 
sidad  del  Pais  Vasco /Euskal  Herriko  Unibertsitatea). 

OBJETO  EVALUADO 


La  Red  de  Evaluacion  del  Pafs  Vasco  es  un  proyecto  que  trabaja  de  forma  coordina- 
da  con  un  modelo  similar  que  se  esta  desarrollando  en  Madrid,  Cataluna  y Andalucfa. 
Se  trata  de  una  evaluacion  externa  de  55  centros  de  Secundaria  de  la  Comunidad 
Autonoma  del  Pafs  Vasco. 

OBJETIVOS  DE  LA  EVALUACION 

El  objetivo  principal  de  la  evaluacion  es  dotar  a los  centros  de  secundaria  de  una 
information  relevante  y contextualizada  acerca  de  su  funcionamiento.  De  esta  forma, 
los  centros  podran  conocer  su  situation,  detectar  los  puntos  fuertes  y debiles  y estable- 
cer  las  pautas  de  cambio  para  su  mejora. 


• Funcion:  Las  dos  funciones  principales  de  la  Red  de  Evaluacion  de  Centros  son  las 
siguientes: 

* Ayudar  a los  centros  participates  a que  conozcan  mejor  su  realidad  educativa  y 
puedan  de  esa  manera  impulsar  estrategias  de  cambio  y de  mejora.  Por  ello, 
aunque  tambien  tiene  una  vertiente  de  tipo  sumativo,  se  trata  sobre  todo  de  una 
evaluacion  con  caracter  formativo. 

* Investigar  los  factores  responsables  de  la  calidad  de  la  ensenanza. 


Paradigma:  Los  estudios  sobre  la  eficacia  de  las  escuelas  entran  dentro  del  campo 
de  la  investigation  cientifica  por  lo  que  su  finalidad  principal  es  ampliar  el  conoci- 
miento  disponible  sobre  el  funcionamiento  de  las  escuelas  y los  factores  que  en  el 
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inciden.  Por  otro  lado  los  programas  para  mejorar  la  escuela  tienen  un  objetivo  mas 
aplicado  y pretenden  principalmente  comprobar  la  utilidad  de  determinadas  estra- 
tegias  de  cambio.  En  el  primer  caso,  aunque  los  resultados  obtenidos  son  rigurosos, 
no  se  pueden  trasladar  directamente  a la  practica.  En  el  segundo  caso,  las  conclusio- 
nes  obtenidas  son  mas  limitadas  y con  menor  poder  de  generalization,  pero  son 
aplicables  en  el  contexto. 

En  los  ultimos  anos  ha  habido  intentos  de  acercar  estos  dos  paradigmas  y generar 
una  dinamica  de  apoyo  mutuo.  Este  es  el  caso  de  la  Red  de  Evaluacion  de  Centros  del 
Pais  Vasco  cuyos  dos  objetivos  principales  son  investigar  los  factores  de  la  calidad  de 
la  ensenanza  y utilizar  el  conocimiento  que  se  obtenga  para  que  las  escuelas  que  estan 
participando  en  la  red  puedan  mejorar  su  funcionamiento. 


Modelo:  Este  modelo  esta  organizado  en  cuatro  niveles:  entrada,  contexto,  proce- 
sos  y resultados.  En  cada  uno  de  ellos  se  establecen  varias  dimensiones. 

El  nivel  de  entrada  incluye  los  resultados  iniciales  de  los /as  alumnos/as  al  incorpo- 
rarse  a la  education  secundaria,  lo  que  se  considera  fundamental  para  analizar  los 
cambios  que  se  producen  a lo  largo  del  tiempo  y determinar  con  mayor  fiabilidad  los 
cambios  que  se  producen  a lo  largo  del  tiempo  y determinar  con  mayor  fiabilidad  el 
valor  anadido  de  la  escuelas. 

El  nivel  de  contexto  se  refiere  al  contexto  sociocultural.  Todos  los  estudios  ponen  de 
relieve  la  influencia  del  contexto  sociocultural  en  los  resultados  que  obtienen  los/ as 
alumnos/as,  aunque  su  valor  predictivo  es  menor  si  se  han  controlado  tambien  los 
resultados  iniciales. 

El  nivel  de  procesos  incluye  dos  ambitos:  los  de  organization  y funcionamiento  del 
centro  y los  mas  especfficos  del  aula.  Por  lo  que  se  refiere  a los  procesos  institucionales 
se  incluye  el  conocimiento  del  funcionamiento  del  centro,  la  participacion,  el  clima  de 
trabajo,  la  valoracion  del  equipo  directivo  y del  trabajo  en  el  seminario  didactico,  las 
relaciones  con  el  alumnado  y las  expectativas  sobre  el  centro  escolar.  En  relacion  con 
los  procesos  de  aula  se  ha  tenido  en  cuenta  especialmente  la  planificacion  de  la  ense- 
nanza, la  innovation  en  la  evaluacion  del  alumnado,  al  amplitud  de  los  contenidos  y 
la  capacidad  para  mantener  un  ambiente  de  trabajo  ordenado. 

El  nivel  de  resultados  se  centra  principalmente  en  el  alumnado,  pero  incluye  tam- 
bien la  opinion  de  los  padres  y madres  y del  profesorado.  En  relacion  al  alumnado  se 
evaluan  los  aprendizajes  en  las  principales  areas  curriculares  (matematicas,  lengua, 
euskara,  ciencias  sociales  y experimentales  y tecnologfa),  asf  como  sus  habilidades 
metacognitivas,  estrategias  de  aprendizaje  y actitudes.  Tambien  completan  un  cuestio- 
nario  en  el  que  manifiestan  su  opinion  sobre  el  funcionamiento  del  centro,  las  califica- 
ciones  que  obtienen,  la  preparation  recibida,  sus  profesores/as,  tutores/as  y 
companeros/as.  Los  padres  y madres  expresan  su  opinion  a traves  de  un  cuestionario 
sobre  el  funcionamiento  del  centro,  la  atencion  recibida,  la  disciplina  que  hay  en  la 
escuela,  las  calificaciones  de  sus  hijos/as  y las  actividades  extraescolares.  La  valora- 
cion del  profesorado  incluye  la  satisfaction  por  el  funcionamiento  del  centro  y por  las 
condiciones  en  las  que  realiza  su  trabajo. 


O 

ERIC 


688 


METODOLOGIA  DE  LA  EVALUACION 


Tecnicas  de  recogida  de  informadon 


Para  la  medicion  de  la  mayorfa  de  los  niveles  y dimensiones  considerados  en  la 
evaluacion  se  utilizan  cuestionarios  cerrados  y pruebas  de  items  de  eleccion  multiple. 
Todas  las  pruebas  son  contrastadas  empiricamente  siguiendo  los  procedimientos  habi- 
tuales  de  la  teoria  clasica  de  los  tests  y de  la  teoria  de  respuesta  a los  items,  garantizan- 
do  asi  su  fiabilidad  y validez. 


Criterios  utilizados  para  valorar  la  informadon 


Las  caracteristicas  de  la  informacion  obtenida  son  las  siguientes: 

— Contextualizada.  Se  controla  el  rendimiento  inicial  del  alumnado  asi  como  el 
nivel  socioeconomico.  La  informacion  que  se  proporciona  a los  centros  tiene  en 
cuenta  siempre  estos  datos  iniciales. 

— Comparada.  Cada  escuela  recibe  los  resultados  que  obtiene  en  todas  las  dimen- 
siones estudiadas  en  comparacion  con  la  media  de  los  resultados  obtenidos  por 
las  escuelas  de  su  mismo  contexto  sociocultural  y por  la  totalidad  de  las  escue- 
las  participantes  en  la  red.  Estos  datos  se  proporcionan  tanto  a nivel  de  comuni- 
dad  como  a nivel  de  todo  el  Estado. 

— Confidential.  La  informacion  de  cada  centro  solo  es  conocida  por  el  propio 
centro. 

— Objetiva.  La  informacion  que  se  proporciona  procede  de  los  cuestionarios  y 
pruebas  estandarizadas  que  se  han  aplicado  en  el  centro. 

— Interpretada  por  los  propios  centros  y profesores.  La  informacion  facilitada  debe  ser 
analizada,  valorada  e interpretada  por  cada  centro. 

— Amplia  y convergente.  La  informacion  que  se  obtiene  no  se  refiere  solamente  a los 
resultados  academicos  del  alumnado,  sino  que  recoge  tambien  sus  actitudes  y 
estrategias  de  aprendizaje,  los  procesos  de  centro  y aula  y las  valoraciones  de 
padres  y madres,  profesores/ as  y alumnos/ as.  De  esta  manera  es  posible  pre- 
sentar  los  puestos  de  vista  de  los  distintos  sectores  de  la  comunidad  educativa 
que  no  siempre  son  coincidentes. 

— Continuada.  Los  centros  deben  participar  en  la  evaluacion  durante  cuatro  anos. 
De  esta  forma  hay  un  seguimiento  longitudinal. 


Referendas 


Las  referencias  en  las  que  se  basa  la  evaluacion  para  la  interpretation  de  las  pun- 
tuaciones  obtenidas  son  de  dos  tipos: 
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* Comparacion  transversal:  Se  trata  de  una  interpretation  de  tipo  normativo. 
Cada  centro  recibe  las  medias  obtenidas  en  cada  una  de  los  niveles  y dimensio- 
nes  analizados.  Junto  a estas  medias  se  le  ofrecen  otras  cuatro  medias  que  le  sir- 
ven  de  contraste: 

— Media  de  los  centres  del  Pais  Vasco  de  su  mismo  contexto  sociocultural 
— Media  de  todos  los  centres  del  Pais  Vasco 

— Media  de  los  centres  del  Estado  de  su  mismo  contexto  sociocultural 
— Media  de  todos  los  centros  del  Estado 

* Comparacion  longitudinal:  Como  se  ha  mencionado  anteriormente,  los  centros 
participantes  asumen  el  compromiso  de  participar  en  la  evaluation  durante  cuatro 
anos.  A partir  del  segundo  ano,  ademas  de  las  comparationes  transversales  que  se 
suceden  durante  los  cuatro  anos,  es  posible  comparar  a cada  centro  consigo 
mismo.  Es  derir  se  analiza  la  evolution  del  centro  en  las  diferentes  dimensiones 
consideradas.  Para  ello  se  toman  como  base  los  estudios  sobre  el  valor  anadido. 

De  cara  al  curso  2000/2001  se  ha  abierto  una  nueva  linea  de  investigation  para 
establecer  estandares  y puntos  de  corte  en  las  pruebas  objetivas  utilizadas  que  nos  per- 
mitan  realizar  tambien  comparaciones  de  tipo  criterial. 

Tecnicas  de  registro  y analisis  de  la  information 

La  mayor  parte  de  la  information  recogida  es  de  tipo  cuantitativo  y por  ello  se  rea- 
lizan  los  analisis  estadisticos  adecuados  para  cada  caso.  Al  cabo  de  los  cuatro  anos  de 
vigencia  de  la  evaluation  se  dispondra  de  los  siguientes  grupos  para  realizar  las  com- 
paraciones: 


Ano  1° 

Aiio  2° 

Aiio  3° 

Aiio  4° 

1 a 

2a 

4 a 

2b 

4b 

4 c 

4 d 

1 e 

2 e 

If 

2 f 

lg 

Los  numeros  1, 2,  4 se  refieren  al  curso  de  los/ as  alumnos/ as  (al  alumnado  de  3'  de 
ESO  no  se  le  aplican  las  pruebas).  Los  subindices  con  letra  hacen  referencia  a diferen- 
tes cohortes  de  alumnos/ as:  a,  primera  cohorte:  b,  segunda  cohorte,  etc.  La  coinciden- 
cia  con  el  subindice  indica  que  se  trata  del  mismo  alumnado,  permitiendo  la 
comparacion  longitudinal.  La  coincidencia  en  el  numero  permite  la  comparacion 
transversal.  Las  comparaciones  longitudinales  pueden  realizarse  segun  el  esquema 
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presentado  en  las  filas  de  la  tabla.  Paralelamente  pueden  hacerse  comparaciones  trans- 
versales  dentro  de  cada  casilla  de  la  tabla  con  los  centres  de  los  diferentes  contextos. 
Los  efectos  de  cohorte  pueden  examinarse  con  comparaciones  entre  los  sujetos  de  1°, 
2°  y 4°  de  los  anos  sucesivos. 

Tipos  de  decisiones 

Los  resultados  obtenidos  son  enviados  a los  centres  en  donde  el  equipo  directivo, 
la  comision  de  coordination  pedagogica  y los  seminarios  didacticos,  la  analizan,  dis- 
cuten  e interpretan.  Tambien  los  datos  generales  que  se  obtienen  del  analisis  estadfsti- 
co  de  todos  los  datos  recogidos  ayuda  al  centre  a valorar  los  suyos  propios.  El  valor 
predictivo  de  los  resultados  initiates,  la  influencia  del  contexto  sociocultural  o del 
tamano  del  centre  junto  con  la  influencia  del  resto  de  las  variables  estudiadas  ofrece 
un  marco  mas  amplio  y contrastado  para  que  cada  centre  interprete  sus  datos  especffi- 
cos.  A partir  de  estos  analisis,  los  centros  adoptan  decisiones  que  traten  de  resolver 
alguno  de  los  problemas  detectados  o mejorar  el  funcionamiento  del  centre.  En  los 
anos  siguientes,  el  centre  puede  comprobar  el  efecto  de  las  iniciativas  que  ha  adoptado 
a traves  de  la  valoracion  que  cada  sector  de  la  comunidad  educativa  vuelve  a expresar. 

Informe 

Cada  centre  recibe  un  informe  confidencial  correspondiente  a los  datos  obtenidos 
en  su  centre  en  comparacion  con  el  resto  de  centros  participantes  en  la  red  de  evalua- 
tion. Se  trata  de  un  infonne  completo  y exhaustivo  de  tipo  descriptivo  en  el  que  no 
aparecen  ni  valoraciones  ni  interpretaciones  puesto  que  estas  deberan  ser  hechas  por 
el  propio  centre.  Este  informe  escrito  se  presenta  mediante  una  reunion/ discusion  con 
el  profesorado  en  el  que  ademas  se  recogen  las  sugerencias  de  los  centros. 
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UNIVERSIDAD  DE  SALAMANCA 


Maria  Esperanza  Herrara  Garda 

Departamento  de  Metodos  de  Investigacion  y Diagnostico  en  Educacion 


PRIMER  INFORME 

TlTULO  DEL  PROGRAMA:  MEJORAR  NUESTRA  COMPRENSION  Y EXPRESION 
ESCRITA  DETEXTOS  EXPOSITIVOS 


RESPONSABLES  DEL  PROGRAMA 

Dna.  Azucena  Hernandez  Martin  y Dna.  Anunciacion  Quintero  Gallego 

RESPONSABLES  DE  LA  EVALUACION 

Dna.  Azucena  Hernandez  Martin  y Dna.  Anunciacion  Quintero  Gallego 

OBjETO  EVALUADO 

Tres  subprogramas  dirigidos  a mejorar  la  comprension  lectora  y la  produccion 
escrita  de  alumnos  de  3°  de  la  E.S.O.  Los  programas  se  orientan  a instruir  en  una  serie 
de  estrategias  cognitivas  y metacognitivas  necesarias  en  los  procesos  de  comprension 
y produccion  escrita,  por  lo  que  se  incluyen  en  el  contexto  de  los  programas  de  ense- 
nar  a pensar. 

OBJETIVOS  DE  LA  EVALUACION 

Disenar,  aplicar  y comprobar  el  grado  de  validez  de  tres  programas  dirigidos  a des- 
arrollar  y/o  mejorar  las  estrategias  necesarias  para  una  adecuada  comprension  y pro- 
duccion de  textos. 
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Analizar  los  efectos  diferenciales  que  la  implementation  de  los  programas  puede 
tener  en  la  mejora  de  las  capacidades  comprensivas  y expresivas  de  alumnos  de  3°  de 
E.S.O.  y,  por  consiguiente,  en  su  rendimiento  academico. 

Funcion:  formativa 

Paradigma:  cuantitativo 

J 

Modelo:  CIPP 

METODOLOGIA  DE  LA  EVALUACION 

Diseno:  Diseno  de  grupos  de  control  no  equivalentes  con  medidas  pretratamiento  y 
postratamiento,  pertenetientes  a la  metodologia  cuasiexperimental. 

Tecnicas  de  recogida  de  datos 

Pruebas  estandarizadas,  aplicadas  durante  la  fase  pretest: 

TEA  2 
CETI 

Pruebas  espetificas  construidas  para  adaptarse  a los  objetivos  de  la  investigation, 
aplicadas  en  las  fases  pretest  y postest: 

Cuatro  pruebas  de  medicion  de  la  comprension  lectora. 

Pruebas  de  medicion  de  la  expresion  escrita. 

Escala  de  estrategias  cognitivas  y actitudes  hacia  la  expresion  escrita. 

Acta  de  calificaciones  y capacidades  de  los  alumnos,  recogidas  en  las  dos  fases. 

Criterios  utilizados  para  valorar  la  information 

Eficacia  y efectividad. 

Referencias:  progreso  sobre  el  propio  programa. 

Tecnicas  de  registro  y analisis  de  la  information 

Para  el  registro  y analisis  de  la  information,  se  empleo  el  paquete  estadfstico  SPSS 
para  Windows  95.  La  version  empleada  fue  la  7.5. 

Los  tipos  de  analisis  aplicados  a la  information  recogida  fueron  los  siguientes: 

En  la  fase  pretest:  estadfstica  descriptiva  (puntuaciones  mfnimas,  maximas,  porcen- 
tajes,  media  y desviacion  tfpica  de  cada  una  de  las  variables)  y estadfstica  inferential 
(ANVA  de  un  factor  y test  de  Scheffe,  Ji  cuadrado  y «t»  para  muestras  independientes). 

En  la  fase  postest  se  realizaron  los  mismos  analisis,  incluyendo  tambien  un  analisis 
de  covarianza. 

En  la  fase  pretest-postest  se  aplico  una  prueba  t para  muestras  relacionadas  y una 
ANVA  de  dos  factores. 
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Tipos  de  decisiones 

A partir  de  los  resultados  obtenidos  se  demostro  la  validez  de  los  tres  programas 
disenados.  Se  concluyo  que: 

Una  intervencion  especifica  orientada  al  desarrollo  y empleo  de  los  procesos  y 
estrategias  implicadas  en  la  composicion  de  textos  variados,  potenciaba  la  calidad  de 
la  expresion  escrita  de  los  alumnos 

Una  intervencion  especifica  orientada  al  desarrollo  y empleo  de  las  estrategias 
necesarias  para  construir  una  representacion  coherente  del  contenido  del  texto,  contri- 
buia  a mejorar  la  comprension  lectora,  y 

Una  intervencion  especifica  y conjunta  en  estrategias  de  comprension  lectora  y 
expresion  escrita  mejoraba  el  desempeno  de  ambas  competencias,  aunque  no  de  forma 
generalizada  en  todos  los  alumnos. 

Sin  embargo,  teniendo  en  cuenta  que  una  de  las  finalidades  del  trabajo  se  orientaba 
a comprobar  cual  de  los  tres  programas  contribufa  en  mayor  medida  a incrementar  la 
competencia  comprensiva  y expresiva  de  los  alumnos,  tomamos  la  decision  de  decan- 
tarnos  por  el  programa  «Mejorar  nuestra  comprension  de  textos  expositivos»,  al 
haberse  constituido  como  el  mas  potente  para  mejorar  ambas  competencias  en  todos 
los  alumnos  del  grupo,  incluidos  aquellos  que  manifestaron  un  menor  rendimiento  en 
las  mismas  desde  el  principio  asf  como  al  haber  demostrado  que  posefa  mayores  efec- 
tos  sobre  el  rendimiento  academico. 

Informe:  Tesis  Doctoral 


SEGUNDO  INFORME 

TITULO  DEL  PROGRAMA:  PENSAR  PARA  ESCRIBIR.  UN  PROGRAMA  DE  ENSE- 
NANZA  PARA  LA  COMPOSICION  ESCRITA 


RESPONSABLE  DEL  PROGRAMA: 

Ma  del  Pino  Lecuona  Naranjo 

RESPONSABLE  DE  LA  EVALUACION: 

Directora:  Ma  del  Pino  Lecuona  Naranjo 

Investigadores:  Ma  Jesus  Miranda  Velasco,  Ma  Jose  Rodriguez  Conde,  Ma  Cruz  San- 
chez Gomez,  Pilar  Sarto  Martin,  Jesus  Valverde  Berrocoso 
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OBJETO  EVALUADO: 

Programa  de  ensenar  a pensar 


OBJETIVOS: 

La  necesidad  de  trabajar  en  estudios  que  favorezcan  la  elaboracion,  aplicacion  y 
valoracion  de  programas  espetificos  de  ensenanza  de  la  composicion  escrita,  en  los 
que  se  tengan  en  cuenta  los  procesos  cognitivos  que  subyacen  a su  ejecucion,  constitu- 
ye  la  finalidad  fundamental  de  este  trabajo.  De  ahi  que  nuestro  objetivo  general  sea  el 
diseno  de  estrategias  de  ensenanza  que  favorezca  la  mejora  de  la  calidad  de  la  expre- 
sion  escrita  del  alumnado  en  las  modalidades  textuales  descriptiva,  narrativa  y expo- 
sitiva.  Este  objetivo  puede  desglosarse  en  las  siguientes  fases: 

la.  Descubrir  cuales  son  las  estructuras  subyacentes  en  los  textos  elaborados  por 
los  ninos  y las  ninas  de  6°  de  Educacion  Primaria. 

2a.  Analizar  la  composicion  escrita  de  los /las  escolares  de  este  ultimo  curso  de 
Educacion  Primaria  en  colegios  publicos  centricos  y perifericos. 

3a.  Analizar  y sistematizar  los  errores  mas  frecuentes  en  la  elaboracion  de  textos 
escritos. 

4a.  Disenar  un  programa  de  intervention  a partir  de  modelos  cognitivos,  lingiifsti- 
cos  e interactivos  o sociales. 

5a.  Aplicar  el  nuevo  programa  en  colegios  de  la  zona  periferica  y de  la  zona  centro 
de  la  ciudad,  controlando  el  rendimiento  de  los  alumnos  en  la  materia  de 
lenguaje. 

6a.  Contrastar  los  resultados  entre  una  metodologia  tradicional  de  aprendizaje  de 
la  composicion  escrita  y el  nuevo  diseno  elaborado  para  el  alumnado  de  6°  de 
Educacion  Primaria. 

7a.  Establecer  algunas  conclusiones  acerca  de  la  ensenanza  de  la  expresion  escrita 
que  orienten  al  profesorado  para  la  mejora  de  su  actuation  docente. 

Funcion:  Formativa 

Paradigma:  Cuantitativo  (investigation  cuasiexperimental) 

Modelo:  CIPP 


METODOLOGIA  DE  LA  EVALUACION: 

Diseno:  disenos  de  grupos  de  control  no  equivalentes  con  medidas  pretratamiento 
y postratamiento). 


o' 
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Tecnicas  de  recogida  de  information: 

— Cuestionario  initial 

— TEA  y Nota  profesor  de  Lenguaje 

— Factor  G 

— Lista  de  control  de  estrategias.  metacognitivas 

— Pautas  de  evaluation  de  composicion.escrita 

Criterios  utilizados  para  valorar  la  information: 

Sobre  el  grado  de  validez  interna  y externa  de  este  diseno,  aspecto  que  nos  ha  preo- 
cupado  desde  el  initio  de  la  investigation,  se  debe  senalar  lo  siguiente: 

Por  un  lado,  en  lo  que  se  refiere  a la  validez  interna,  a la  capacidad  que  el  diseno 
establecido  ha  tenido  sobre  el  control  del  error  experimental,  opinamos  que,  aun  dentro 
de  las  limitaciones  de  este  tipo  de  estudio,  los  instrumentos  de  medida  utilizados  han 
sido  suficientemente  sensibles,  validos  y fiables,  como  para  detectar  los  cambios  efec- 
tuados  y las  diferentias  entre  grupos  en  aquellos  aspectos  que  nos  ha  interesado  medir. 

Por  otro  lado,  al  planteamos  las  cuestiones  relativas  a la  validez  externa,  es  decir,  al 
poder  de  generalization  de  estos  resultados,  procedentes  de  alumnos  y alumnas  de 
dos  centros  concretos,  al  resto  de  discentes  que  conformarian  la  poblacion,  hemos 
comprobado,  tras  los  analisis  inferenciales  efectuados,  que  si  aparecen  indicios  que 
permiten  su  transferencia. 

Referencias:  progreso  sobre  el  propio  programa 

T ecnicas  analisis  de  la  information: 

La  preparation  cuidadosa  de  los  datos  de  la  variable  dependiente,  composition 
escrita,  se  realizo  a partir  de  la  puntuacion  otorgada  por  un  sistema  de  jueces.  Se  han 
realizado  analisis  estadisticos  descriptivos,  correlacionales  e inferenciales,  en  respues- 
ta  al  diseno  de  investigation  utilizado.  El  contraste  de  hipotesis  se  ha  resuelto  a partir 
de  pruebas  de  «t»  de  diferencia  de  medias  para  muestras  independientes  y correlacio- 
riadas  y ANCOVA,  en  el  caso  de  controlar  el  efecto  de  variables  correlacionadas  con  la 
variable  dependiente. 

Tipos  de  decisiones: 

Una  metodologia  de  ensenanza  basada  en  la  utilization  de  estrategias  cognitivas  y 
linguisticas  incrementa  el  nivel  de  calidad  de  la  expresion  escrita  del  alumnado. 

La  ensenanza  tradicional  de  la  composition  escrita  produce  niveles  mas  bajos  de 
rendimiento  en  este  alumnado,  que  si  la  comparamos  con  la  metodologia  de  investiga- 
tion empleada  en  este  estudio. 

La  intervention,  efectuada  mediante  la  presentation  a traves  de  (1)  motivation,  (2) 
modelado  y (3)  entrenamiento  en  tareas  metacognitivas,  asi  como  el  material  didactico 
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elaborado  ad  hoc,  parece  que  influye  en  una  mejora  en  la  production  escrita  de  los 
alumnos  en  sexto  curso  de  Education  Primaria  (11-12  anos).  La  valoracion  efectuada 
despues  del  entrenamiento  en  cada  uno  de  los  textos  y,  la  realizada  un  tiempo  des- 
pues, parece  que  asf  lo  corrobora. 

La  mejora,  con  este  tipo  de  intervention,  se  aprecia  de  manera  mas  ostensible  en 
aquellos  alumnos  y alumnas  de  capacidad  cognitiva  media  y alta,  en  comparacion  con 
los /las  estudiantes  de  bajo  nivel.  Las  caracteristicas  como  mayor  interes  por  la  lectura, 
situation  socioeconomica  favorable,  etc.,  pueden  propiciar  un  mejor  aprovechamiento 
de  este  tipo  de  intervention.  Creemos  que  para  alumnos  de  nivel  medio  y alto  los  pro- 
gramas  intensivos  pueden  ser  adecuados;  en  cambio,  en  escolares  menos  favorecidos, 
la  intervention  deberia  ser  mas  prolongada  en  el  tiempo,  volviendo  a insistir  en  aspec- 
tos  que  no  llegan  a comprender  desde  el  primer  momento. 

Los  procesos  cognitivos  implicados  en  la  elaboration  de  textos  expositivos  indi- 
can la  necesidad  de  su  entrenamiento  en  edades  mas  avanzadas  que  las  considera- 
das  en  este  estudio.  Seria  conveniente  introducir  dicha  modalidad  en  cursos 
posteriores,  pues  consideramos  que  es  conveniente  retrasarlo  hasta  el  primer  ciclo 
de  la  Etapa  de  Education  Secundaria.  Sin  embargo,  se  deberia  reforzar  en  la  etapa  de 
Education  Primaria  la  lectura  y la  escritura  de  textos  de  estructura  narrativa,  puesto 
que  los  chicos  y las  chicas  se  decantan  y prefieren  leer  relatos  preferentemente  de 
aventuras. 

Como  este  tipo  de  diseno  de  intervention  parece  que  esta  exigiendo  unos  condicio- 
nantes  sobre  conocimientos  previos,  y como  el  programa  solo  hace  incidencia  en 
aspectos  de  coherencia  y cohesion  textual,  sugerimos:  (a)  trabajar  previamente  los 
aspectos  de  vocabulario,  tiempos  verbales,  ortografia,  etc.,  y/o  (b)  continuar  desarro- 
llando  y ampliando  este  programa  a fin  de  integrarlos  en  el  mismo. 

Otra  via  de  trabajo  se  centrarfa  en  la  utilization  de  nuevas  tecnologfas  tales  como  el 
procesador  de  textos  y la  telematica  valorando  su  incidencia  y utilidad  en  los  procesos 
de  ensenanza-aprendizaje  de  la  expresion  escrita. 

Para  concluir,  habiendo  comprobado  la  mejora  del  alumnado  en  las  habilidades  de 
escritura  tras  la  implementation  del  programa,  animamos  a todos  los  interesados  en  el 
tema  a aplicarlo,  a fin  de  contrastar  nuestros  resultados  con  los  que  pudieran  obtener- 
se  en  otros  contextos. 

Informes: 

Esta  investigation  fue  publicada  por  el  Centro  de  Investigation  y Documentation 
Educativa  en  1999.  De  ella  han  derivado  diferentes  Cursos,  Ponencias  y Artfculos  des- 
tinados  fundamentalmente  a Profesorado  de  Primaria. 
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TERCER  INFORME 

TiTULO  DEL  PROGRAMA:  PENSAR  PARA  ESCRIBIR.  UN  PROGRAMA  DE  ENSE- 
NANZA PARA  LA  COMPOSICION  ESCRITA 


RESPONSABLE  DEL  PROGRAMA 

Ma  del  Pino  Lecuona  Naranjo 

RESPONSABLE  DE  LA  EVALUACION 

Directora:  Ma  del  Pino  Lecuona  Naranjo 

Investigadores:  Ma  Jesus  Miranda  Velasco,  Ma  Jose  Rodriguez  Conde,  Ma  Cruz 
Sanchez  Gomez,  Pilar  Sarto  Martin,  Jesus  Valverde  Berrocoso 

OBJETO  EVALUADO 

Programa  de  ensenar  a pensar 

OBJETIVOS 

La  necesidad  de  trabajar  en  estudios  que  favorezcan  la  elaboracion,  aplicacion  y 
valoracion  de  programas  especificos  de  ensenanza  de  la  composicion  escrita,  en  los 
que  se  tengan  en  cuenta  los  procesos  cognitivos  que  subyacen  a su  ejecucion,  constitu- 
ye  la  finalidad  fundamental  de  este  trabajo.  De  ahi  que  nuestro  objetivo  general  sea  el 
diseno  de  estrategias  de  ensenanza  que  favorezca  la  mejora  de  la  calidad  de  la  expre- 
sion  escrita  del  alumnado  en  las  modalidades  textuales  descriptiva,  narrativa  y expo- 
sitiva.  Este  objetivo  puede  desglosarse  en  las  siguientes  fases: 

la.  Descubrir  cuales  son  las  estructuras  subyacentes  en  los  textos  elaborados  por 
los  ninos  y las  ninas  de  6°  de  Educacion  Primaria. 

2a.  Analizar  la  composicion  escrita  de  los  /las  escolares  de  este  ultimo  curso  de 
Educacion  Primaria  en  colegios  publicos  centricos  y perifericos. 

3a.  Analizar  y sistematizar  los  errores  mas  frecuentes  en  la  elaboracion  de  textos 
escritos. 

4a.  Disenar  un  programa  de  intervencion  a partir  de  modelos  cognitivos,  lingiiisti- 
cos  e interactivos  o sociales. 

5a.  Aplicar  el  nuevo  programa  en  colegios  de  la  zona  periferica  y de  la  zona  centra  de 
la  ciudad,  controlando  el  rendimiento  de  los  alumnos  en  la  materia  de  lenguaje. 

6a.  Contrastar  los  resultados  entre  una  metodologia  tradicional  de  aprendizaje  de 
la  composicion  escrita  y el  nuevo  diseno  elaborado  para  el  alumnado  de  6°  de 
Educacion  Primaria. 
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7a.  Establecer  algunas  conclusiones  acerca  de  la  ensenanza  de  la  expresion  escrita 
que  orienten  al  profesorado  para  la  mejora  de  su  actuation  docente. 

Funcion:  Formativa 

Paradigma:  Cuantitativo  (investigacion  cuasiexperimental) 

Modelo:  CIPP 

METODOLOGIA  DE  LA  EVALUACION 

Diseno:  disenos  de  grupos  de  control  no  equivalentes  con  medidas  pretratamiento 
y postratamiento). 

Tecnicas  de  recogida  de  informacion: 

— Cuestionario  inicial 

— TEA  y calificacion  asignada  por  el  profesor  de  Lenguaje 

— Factor  G 

— Lista  de  control  de  estrategias  metacognitivas 

— Pautas  de  evaluacion  de  composicion  escrita 

Criterios  utilizados  para  valorar  la  informacion 

Sobre  el  grado  de  validez  interna  y externa  de  este  diseno,  aspecto  que  nos  ha  preo- 
cupado  desde  el  inicio  de  la  investigacion,  se  debe  senalar  lo  siguiente: 

Por  un  lado,  en  lo  que  se  refiere  a la  validez  interna,  a la  capacidad  que  el  diseno 
establecido  ha  tenido  sobre  el  control  del  error  experimental,  opinamos  que,  aun  den- 
tro  de  las  limitaciones  de  este  tipo  de  estudio,  los  instrumentos  de  medida  utilizados 
han  sido  suficientemente  sensibles,  validos  y fiables,  como  para  detectar  los  cambios 
efectuados  y las  diferencias  entre  grupos  en  aquellos  aspectos  que  nos  ha  interesado 
medir. 

• Por  otro  lado,  al  plantearnos  las  cuestiones  relativas  a la  validez  externa,  es  decir,  al 
poder  de  generalization  de  estos  resultados,  procedentes  de  alumnos  y alumnas  de 
dos  centros  concretos,  al  resto  de  discentes  que  conformarian  la  poblacion,  hemos 
comprobado,  tras  los  analisis  inferenciales  efectuados,  que  si  aparecen  indicios  que 
permiten  su  transference. 

Referencias:  progreso  sobre  el  propio  programa 

Tecnicas  de  analisis  de  la  informacion 

La  preparation  cuidadosa  de  los  datos  de  la  variable  dependiente,  composicion 
escrita,  se  realizo  a partir  de  la  puntuacion  otorgada  por  un  sistema  de  jueces.  Se  han 
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realizado  analisis  estadxsticos  descriptivos,  correlacionales  e inferenciales,  en  respues- 
ta  al  diseno  de  investigacion  utilizado.  El  contraste  de  hipotesis  se  ha  resuelto  a partir 
de  pruebas  de  «t»  de  diferencia  de  medias  para  muestras  independientes  y correlacio- 
nadas  y ANCOVA,  en  el  caso  de  controlar  el  efecto  de  variables  correlacionadas  con  la 
variable  dependiente. 

Tipos  de  dedsiones 

Una  metodologia  de  ensenanza  basada  en  la  utilization  de  estrategias  cognitivas  y 
linguisticas  incrementa  el  nivel  de  calidad  de  la  expresion  escrita  del  alumnado. 

La  ensenanza  tradicional  de  la  composition  escrita  produce  niveles  mas  bajos  de 
rendimiento  en  este  alumnado  que  si  la  comparamos  con  la  metodologia  de  investiga- 
tion empleada  en  este  estudio. 

La  intervention,  efectuada  mediante  la  presentation  a traves  de  (1)  motivation,  (2) 
modelado  y (3)  entrenamiento  en  tareas  metacognitivas,  asi  como  el  material  didactico 
elaborado  ad  hoc,  parece  que  influye  en  una  mejora  en  la  production  escrita  de  los 
alumnos  en  sexto  curso  de  Education  Primaria  (11-12  anos).  La  valoracion  efectuada 
despues  del  entrenamiento  en  cada  uno  de  los  textos  y,  la  realizada  un  tiempo  des- 
pues, parece  que  asi  lo  corrobora. 

La  mejora,  con  este  tipo  de  intervention,  se  aprecia  de  manera  mas  ostensible  en 
aquellos  alumnos  y alumnas  de  capacidad  cognitiva  media  y alta,  en  comparacion  con 
los /las  estudiantes  de  bajo  nivel.  Las  caracterxsticas  como  mayor  interes  por  la  lectura, 
situation  socioeconomica  favorable,  etc.,  pueden  propiciar  un  mejor  aprovechamiento 
de  este  tipo  de  intervention.  Creemos  que,  para  alumnos  de  nivel  medio  y alto,  los 
programas  intensivos  pueden  ser  adecuados;  en  cambio,  en  escolares  menos  favoreci- 
dos,  la  intervention  deberia  ser  mas  prolongada  en  el  tiempo,  volviendo  a insistir  en 
aspectos  que  no  llegan  a comprender  desde  el  primer  momento. 

Los  procesos  cognitivos  implicados  en  la  elaboration  de  textos  expositivos  indican 
la  necesidad  de  su  entrenamiento  en  edades  mas  avanzadas  que  las  consideradas  en 
este  estudio.  Seria  conveniente  introducir  dicha  modalidad  en  cursos  posteriores,  pues 
consideramos  que  es  conveniente  retrasarlo  hasta  el  primer  ciclo  de  la  Etapa  de  Educa- 
tion Secundaria.  Sin  embargo,  se  deberia  reforzar  en  la  etapa  de  Educacion  Primaria  la 
iectura  y la  escritura  de  textos  de  estructxira  narrativa,  puesto  que  los  chicos  y las  chi- 
cas  se  decantan  y prefieren  leer  relatos  preferentemente  de  aventuras. 

Como  este  tipo  de  diseno  de  intervention  parece  que  esta  exigiendo  unos  condicio- 
nantes  sobre  conocimientos  previos,  y como  el  programa  solo  hace  incidencia  en 
aspectos  de  coherencia  y cohesion  textual,  sugerimos:  (a)  trabajar  previamente  los 
aspectos  de  vocabulario,  tiempos  verbales,  ortografxa,  etc.,  y/o  (b)  continuar  desarro- 
llando  y ampliando  este  programa  a fin  de  integrarlos  en  el  mismo. 

Otra  via  de  trabajo  se  centrarxa  en  la  utilization  de  nuevas  tecnologxas  tales  como  el 
procesador  de  textos  y la  telematica  valorando  su  incidencia  y utilidad  en  los  procesos 
de  ensenanza-aprendizaje  de  la  expresion  escrita. 

Para  concluir,  habiendo  comprobado  la  mejora  del  alumnado  en  las  habilidades  de 
escritura  tras  la  implementation  del  programa,  animamos  a todos  los  interesados  en  el 
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tema  a aplicarlo,  a fin  de  contrastar  nuestros  resultados  con  los  que  pudieran  obtener- 
se  en  otros  contextos. 

Informes 

Esta  investigacion  fue  publicada  por  el  Centro  de  Investigacion  y Documentacion 
Educativa  en  1999.  De  ella  han  derivado  diferentes  Cursos,  Ponencias  y Articulos  des- 
tinados  fundamentalmente  a Profesorado  de  Primaria. 


Revista  de  InVestigacion  Educativa,  2000,  Vol.  18,  n.°  2,  pags.  701-706 


\ 


UNIVERSIDAD  DE  SANTIAGO  DE  COMPOSTELA 


Ana  Porto  Castro 

Area  de  M6todos  de  Investigacion  y Diagnostico  en  Educacion 


PRIMER  INFORME 

TlTULO  DEL  PROGRAMA:  EFECTOS  DE  UN  PROGRAMA  EN  EL  AREA  DE  MATE- 
MATICAS  CON  ALUMNOS  MUY  CAPACITADOS. 


RESPONSABLE  DEL  PROGRAMA 

Ana  Ma  Porto  Castro 

Area  MIDE.  Facultad  de  Ciencias  de  la  Educacion 
Director:  Dr.  Jose  Cajide  Val 

RESPONSABLE  DE  LA  EVALUACION 

Ana  Ma  Porto  Castro 

OBjETO  EVALUADO 

Un  programa  en  el  area  de  matematicas  pensado  especialmente  para  alumnos  muy 
capacitados.  El  programa  se  centra  en  el  desarrollo  de  capacidades,  destrezas  y habili- 
dades  del  alumno.  Se  pretende  el  desarrollo  y estimulacion  del  alumno  para  resolver 
problemas  y para  utilizar  las  estrategias  para  su  resolucion. 

OBJETIVOS 

— Comprobar  los  efectos  del  programa  y si  estos  son  especialmente  favorables 
para  los  alumnos  identificados  como  muy  capacitados. 
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— Comprobar  si  las  variables  consideradas  para  seleccionar  a los  alumnos  como 
muy  capacitados  son  predictores  efectivos  de  los  efectos  del  programa. 

Funcion:  Sumativa 

Paradigma:  Cuantitativo 

Modelo:  Resultados 

METODOLOGIA  DE  LA  EVALUACION 

• Diseno:  Se  utiliza  un  diseno  de  4 grupos  (uno  experimental  y otro  control  selec- 
cionados  al  azar;  uno  experimental  y otro  control  de  sujetos  identificados  como 
muy  capacitados),  pretes-postest,  con  una  variable  independiente. 

• Tecnicas  de  recogida  de  informacion:  Cuestionario. 

• Criterios  utilizados  para  valorar  la  informacion:  Suficiencia,  evaluabilidad  y efi- 
cacia  del  programa. 

• Referencias:  Progreso  sobre  el  propio  programa. 

• Tecnicas  de  registro  y analisis  de  la  informacion:  La  informacion  se  analiza  de 
modo  cuantitativo,  a traves  del  calculo  de  estadisticos  descriptivos  y de  la  apli- 
cacion  de  las  siguientes  pruebas  estadisticas:  t de  Student,  Analisis  de  Varianza, 
Analisis  de  Regresion  y Analisis  de  Covarianza. 

• Tipo  de  decisiones: 

• Informe:  Se  trata  de  un  trabajo  de  Tesis  Doctoral. 


SEGUNDO  INFORME 

TITULO  DEL  PROGRAMA:  LA  PRENSA  DIARIA  COMO  RECURSO  MOTIVADOR 
DE  LA  LECTURA  EN  LAS  AULAS 


RESPONSABLE  DEL  PROGRAMA 

Cristina  Abeal  Pereira. 

Area  MIDE.  Facultad  de  Ciencias  de  la  Education. 
Director:  Dr.  Jose  Cajide  Val. 
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RESPONSABLE  DE  LA  EVALUACION 

Cristina  Abeal  Pereira. 

OBJETO  EVALUADO 

Un  programa  para  el  aprendizaje  lector  en  ninos  desmotivados,  usando  como 

recurso  didactico  la  prensa  escrita. 

OBJETIVOS 

— Demostrar  que  un  adecuado  uso  selectivo  del  periodico  en  el  aula  es  una  buena 
estrategia  de  incentivacion  para  el  desarrollo  de  la  comprension  lectora. 

— Descubrir  diferencias  relevantes  entre  los  elementos  de  motivacion  propiciados 
por  el  uso  selectivo  de  la  prensa  y por  otros  textos,  en  orden  a la  comprension 
lectora. 

— Verificar  si  existen  diferencias  entre  los  rendimientos  en  comprension  lectora  de 
aquellos  alumnos  con  dificultades  que  utilicen  como  recurso  de  motivacion  la 
prensa  y el  de  aquellos  que  usan  recursos  mas  convencionales. 

— Comprobar  si  existen  diferencias  entre  el  nivel  de  satisfaction  lectora  de  los 
alumnos  que  utilizan  la  prensa  y aquellos  que  utilizan  un  recurso  mas  conven- 
cional. 

Funcion:  Formativa  y sumativa. 

Paradigma:  Cuantitivo. 

Modelo:  Resultados. 

METODOLOGIA  DE  LA  EVALUACION 

• Diseno:  Se  utiliza  un  diseno  4 grupos  (un  grupo  experimental  y otro  control  de 
alumnos  con  dificultades  y desmotivacion  lectora;  un  grupo  experimental  y un 
grupo  control  seleccionados  al  azar,  de  alumnos  sin  dificultades  ni  desmotiva- 
cion lectora),  pretest-postest  con  una  variable  independiente 

• Tecnicas  de  recogida  de  informacion:  Cuestionario  y entrevista. 

• Criterios  utilizados  para  valorar  la  informacion:  Viabilidad,  eficacia  y eficiencia. 

• Referencias:  Progreso  sobre  el  propio  programa  y el  punto  de  partida. 

• Tecnicas  de  registro  y analisis  de  la  informacion:  Se  calculan  estadisticos  des- 
criptivos  y se  realiza  la  prueba  t de  Student. 

• Tipo  de  decisiones: 

• Informe:  Trabajo  de  Tesis  Doctoral. 
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TERCER  INFORME  INFORME 

TlTULO  DEL  PROGRAMA:  EFECTOS  DEL  USO  DE  LOS  MEDIOS  INFORMATI- 
COS  EN  EL  APRENDIZAJE  DE  LOS  ALUMNOS/AS  DE  SEGUNDO  DE  LA  ESO 
EN  EL  AREA  DE  TECNOLOGIA:  UN  ESTUDIO  DE  CASO 


RESPONSABLE  DEL  PROGRAMA 

Elisa  Teresa  Zamora  Rodriguez. 

Area  MIDE.  Facultad  de  Ciencias  de  la  Education. 

Director:  Dr.  Jose  Cajide  Val. 

RESPONSABLE  DE  LA  EVALUACION 

Elisa  Teresa  Zamora  Rodriguez 

OBjETO  EVALUADO 

Se  evalua  un  proyecto  didactico  dirigido  a alumnos  de  2°  de  ESO  en  el  area  de  Tec- 
nologia,  articulado  en  tomo  a un  eje  central  consistente  en  la  confeccion  de  un  Tan- 
gram.  Para  la  confeccion  del  Tangram  es  requisite  previo  conocer  como  es  realmente; 
este  conocimiento  constituye  un  paso  necesario,  una  meta  intermedia  en  su  confeccion. 

OBJETIVOS 

— Estudiar  y analizar  los  efectos  del  uso  de  los  medios  informaticos  en  el  proceso 
de  ensenanza-aprendizaje  del  area  de  tecnologia,  teniendo  en  cuenta  los  objetivos, 
contenidos,  estrategias  metodologicas,  tareas  y actividades  a desenvolver  en  esta  area. 

Funcion:  Formativa 

Paradigma:  Cualitativo 

Modelo: 

METODOLOGIA  DE  LA  EVALUACION 

• Diseno:  Estudio  de  caso  unico 

• Tecnitas  de  recogida  de  informacion:  Cuestionario,  Entrevista,  Observacion  y 
documentos  escritos 

• Criterios  utilizados  para  valorar  la  informacion:  Evaluabilidad,  Viabilidad  y 
Eficacia 
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• Referencias:  Progreso  sobre  el  programa  y consecution  de  los  objetivos  del  area 

• Tecnicas  de  registro  y analisis  de  la  information:  Triangulacion  de  tecnicas  y 
metodos,  calculo  de  fiabilidad  del  cuestionario,  analisis  del  desarrollo  instructi- 
vo  de  los  alumnos  en  el  area  de  tecnologia,  y analisis  descriptivo. 

• Informe:  Trabajo  de  Tesis  Doctoral. 


CUARTO  IN  FORME 

TfTULO  DEL  PROGRAMA:  PROGRAMA  DE  APROVECHAMIENTO  INTEGRAL 
DEL  ESPACIO  ESCOLARY  DE  LA  MEjORA  DE  LA  CALI  DAD  DE  LA  ENSE- 
NANZA 


RESPONSABLE  DEL  PROGRAMA 

Neuza  Celina  Canabarro  Elizeire 

Area  MIDE,  Facultad  de  Ciencias  de  la  Education 

Director:  Dr.  Jose  Cajide  Val 

RESPONSABLE  DE  LA  EVALUACION 

Neuza  Celina  Canabarro  Elizeire 

OBJETO  EVALUADO 

Programa  implantado  en  escuelas  publicas  del  Estado  Rio  do  Sul  desde  1992-1994, 
disenado  para  eliminar  la  falta  de  plazas  en  las  escuelas,  la  actualization  y el  perfec- 
cionamiento  de  los  recursos  humanos  de  la  red  publica  estatal  y para  atender  la 
demanda  escolar  de  aproximadamente  200.000  excedentes. 

OBJETIVOS 

— Comprobar  si  el  programa  permite  mejorar  las  condiciones  que  resuelvan  la 
falta  de  plazas  en  la  red  publica  estatal. 

Funcion:  Sociopolitica 
Paradigma:  Cuantitativo. 

Modelo:  Proceso-Producto. 
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METODOLOGIA  DE  LA  EVALUACION: 

• Diseno 

• Tecnicas  de  recogida  de  information:  Cuestionario  por  correo  y entrevista. 

• Criterios  utilizados  para  valorar  la  information:  Viabilidad  y efectividad 

• Referencias:  Superioridad  de  esta  alternativa  sobre  otras  adoptadas  en  el  Estado 
y en  los  municipios,  en  las  ultimas  decadas. 

• Tecnicas  de  registro  y analisis  de  la  information:  Estadfsticos  descriptivos  y 
Analisis  de  varianza 

• Informe:  Trabajo  de  Tesis  Doctoral 
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UNIVERSIDAD  DE  SEVILLA 


Antonio  Matas  Terron 

Area  de  Metodos  de  Investigation  y Diagnostico  en  Educacion 


En  la  comunidad  andaluza  existe  el  Plan  Andaluz  de  Investigation  (P.A.I.).  En  el  se 
integran  y reconocen  un  gran  numero  de  grupos  de  investigacion  que  abarcan  todos 
los  ambitos  del  conocimiento  asi  del  desarrollo  cientifico  y tecnologico.  A traves  de 
este  plan,  los  miembros  del  area  MIDE  encuentran  la  posibilidad  de  desarrollar  ciertos 
proyectos  de  investigacion  con  cierto  reconocimiento  «oficial»,  a traves  de  la  creacion 
de  grupos  de  investigacion.  Los  grupos  suelen  ser  interdisciplinares,  integrados  por 
participantes  de  uno  o mas  centros,  y procedentes  tanto  del  ambito  universitario  como 
de  centros  educativos  de  secundaria,  primaria,  etc.,  empresas  privadas  y publicas, 
administration  publica,  etc. 

Dentro  de  este  marco  general,  se  desarrollan  los  proyectos  de  investigacion  en  el 
area  MIDE  de  la  Universidad  de  Sevilla.  Respecto  al  objeto  de  esta  exposicion, 
actualmente  se  encuentran  en  marcha  dos  proyectos  de  investigacion  en  los  que  par- 
ti cipan  miembros  del  area.  Por  una  parte,  el  proyecto,  denominado  «Atando  Cabos». 
Realizado  por  el  grupo  de  investigacion  MIDO  (Metodos  de  Investigacion  y Diag- 
nostic© en  Orientacion).  Su  director  es  el  Doctor  Don  Victor  Alvarez  Rojo,  catedrati- 
co  del  area  MIDE.  El  equipo  principal  esta  formado  por:  Dr.  Don  Eduardo  Garcia, 
Dra.  Da.  Soledad  Romero,  y Dr.  Don  Javier  Gil.  Se  trata  de  un  programa  informatiza- 
do  de  auto  analisis  de  los  metodos  de  trabajo  para  alumnos  universitarios.  Es  un 
programa  de  desarrollo  educativo  de  corte  integrado  en  cuanto  al  paradigma  de 
referencia.  En  general  sigue  las  lineas  esenciales  del  modelo  Stufflebeam  de  evalua- 
tion. 

Un  segundo  programa  es  «Imagen  y Fantasia».  Llevado  a cabo  dentro  del  Grupo 
de  Investigacion  Suroeste  de  la  Universidad  de  Huelva  y donde  hay  una  participa- 
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cion  significativa  de  componentes  pertenecientes  a la  Universidad  de  Sevilla.  La  Dra. 
Jeronima  lpland  Garcia  dirige  el  grupo  de  investigacion,  siendo  componentes  princi- 
pales  de  la  lmea  de  investigacion  metacognitiva  el  Dr.  Narciso  Barrero  Gonzalez  y el 
Dr.  Miguel  Ma  Reyes  Rebollo.  Se  trata  de  un  programa  metacognitivo  de  estrategias 
de  comprension  lectora  para  ciclo  medio  de  educacion  primaria  para  alumnos  nor- 
moyentes  e hipoacusicos  en  regimen  de  integracion.  El  programa  integra  los  paradig- 
mas  cuantitativo  y ecologico,  siguiendo  un  modelo  metacognitivo. 

A continuation  se  expone  una  ficha  resumen  de  ambos  proyectos,  donde  se  han 
indicado  las  caracterfsticas  principales  de  los  mismos. 


PRIMER  INFORME 

TfTULO  DEL  PROGRAMA:  «ATANDO  CABOS»:  SISTEMA  INFORMATIZADO  DE 
AUTOANALISIS  DE  LOS  METODOS  DETRABAJO  PARA  ALUMNOS  UNIVER- 
SITARIOS 


RESPONSABLE  DEL  PROGRAMA 

ENTIDAD:  Grupo  MIDO 
DIRECTOR:  Victor  Alvarez  Rojo 

RESPONSABLE  DE  LA  EVALUACLON 

DIRECTOR:  Victor  Alvarez  Rojo 

EQUIPO  PRINCIPAL:  Eduardo  Garda  Jimenez,  Javier  Gil  Flores  y Soledad  Romero 
Rodriguez. 

Objeto  evaluado:  OTROS:  Programa  de  desarrollo  educativo. 

Paradigma:  No  puede  hablarse  de  una  adscripcion  clara  a ninguno. 

Modelo:  No  se  sigue  ningun  modelo  determinado.  No  obstante,  en  buena  medida 
el  concepto  y el  desarrollo  de  la  evaluacion  se  apoyan  en  las  ideas  de  Stufflebeam,  de 
modo  que  la  evaluacion  nos  ha  orientado  en  la  toma  de  decisiones  sobre  el  programa 
(contenido,  diseno,  usuarios,  etc.). 
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METODOLOGIA 

Diseno: 

El  modelo  comparative  previo  a la  valoracion  del  programa  se  ha  apoyado  en  un 
estudio  descriptivo  y en  otro  de  tipo  ex-post-facto. 

Tecnicas  de  recogida  de  informacion 

Cuestionario  y escala  de  opinion,  Diferencial  Semantico  y Observation  (a  partir  de 
un  sistema  de  categorias  semicerrado). 

Criterios  de  valoracion  de  la  informacion 

Relevancia  de  los  contenidos,  claridad,  coherencia,  capacidad  de  motivation,  ade- 
cuacion  a los  usuarios,  versatilidad,  viabilidad,  eficacia,  eficiencia.,  facilidad  de  uso, 
calidad  del  entorno  audiovisual,  satisfaction  del  usuario  y evaluabilidad. 

Tecnicas  de  registro  y analisis  de  la  informacion 

Cedula  y hoja  de  registro.  Estadisticos  descriptivos  y de  contraste  parametrico  y no 
parametrico.  Analisis  factorial  exploratorio  (estudio  de  la  estructura  de  la  Escala  y el 
Diferencial  Semantico). 

Tipos  de  decisiones 

Modificaciones  relacionadas  con  el  contenido  del  programa  y con  los  interfaces 
usuario-ordenador. 

Informe  de  evaluaciones 

DESTINATARIOS:  Disenadores  del  programa  y C.I.D.E. 

ESTRUCTURA:  Formaba  parte  de  la  Memoria  Final  de  Investigation.  En  dicho 
informe  se  especifican:  los  objetivos  de  la  evaluation,  los  terminos  de  comparacion,  el 
diseno,  el  desarrollo  de  la  fase  de  aplicacion,  la  muestra  participante,  los  procedimien- 
tos  de  recogida  y analisis  de  datos,  los  resultados,  las  valoraciones  realizadas  y las 
decisiones  adoptadas  en  relation  con  el  programa. 

AMPLITUD:  49  paginas. 

Informe 

El  proceso  de  evaluation  aqui  resumido  nos  ha  permito  concluir  con  una  valora- 
cion positiva  del  programa  «ATANDO  CABOS»,  tanto  en  los  aspectos  relativos  a su 
diseno  y aplicacion  como  a los  resultados  que  permite  alcanzar  a los  alumnos  univer- 
sitarios  matriculados  en  el  primer  curso,  a quienes  esta  dirigido  dicho  programa. 
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En  relacion  con  el  diseno,  hemos  podido  comprobar  que  los  contenidos  se  adaptan 
a las  necesidades  de  los  usuarios  y son  adecuados  para  ellos,  asf  mismo  las  estrategias 
utilizadas  en  el  programa  resultan  validas  en  un  entorno  informatizado  y podemos 
decir  que  el  propio  diseno  del  software  facilita  la  interaction  con  el  usuario. 

Respecto  a la  aplicacion  del  programa  entendemos  que  resulta  viable  en  centros 
universitarios  de  las  diferentes  titulaciones;  es  facil  de  usar  por  los  estudiantes  que 
sienten  a gusto  trabajando  con  esta  aplicacion  informatica. 

Los  resultados  obtenidos  irunediatamente  despues  de  la  aplicacion  del  programa 
nos  muestran  reacciones  de  los  estudiantes  que  indican  que  «ATANDO  CABOS»  pro- 
picia  el  aprendizaje,  resulta  util  para  el  alumno,  arroja  un  balance  positivo  en  terminos 
de  coste-beneficio  y,  en  fin,  resulta  satisfactory  para  sus  usuarios. 

Como  consecuencia  de  la  evaluacion  se  detectaron  algunas  deficiencias  en  la  ver- 
sion beta  del  programa  (la  utilizada  en  la  aplicacion  a los  alumnos)  que  han  sido  corre- 
gidas.  Dichas  deficiencias  afectaron  sobre  todo  al  contenido  y a los  interfaces 
hombre-maquina. 


SEGUNDO  INFORME 

TITULO  DEL  PROGRAMA:  «IMAGENY  FANTASIA» 


RESPONSABLES  DEL  PROGRAMA 


ENTIDAD:  Grupo  de  Investigation  Suroeste  de  la  Universidad  de  Huelva 
DIRECTORES/  AUTORES:  Dr.  Narciso  Barrero  Gonzalez,  Dra.  Jeronima  lpland 
Garcia  y Dr.  Miguel  Ma  Reyes  Rebollo 

RESPONSABLES  DE  LA  EVALUACION 

Los  autores 


Objeto  evaluado:  Programa  metacognitivo  de  estrategias  de  comprension  depen- 
dientes  de  la  tarea  lectora  para  ciclo  medio  de  education  primaria  con  alumnos  nor- 
moyentes  e hipoacusicos  en  regimen  de  integracion. 

Paradigma:  Mediacional,  centrado  en  el  alumno  con  integracion  del  paradigma 
cuantitativo  y el  ecologico. 

Modelo:  Orientation  metacognitiva  dependiente  de  la  tarea  escolar. 
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METODOLOGIA  DE  LA  EVALUACION 

Diseno 

Una  fase  pretest,  creando  la  linea  base  y una  fase  postest,  estableciendo  los  resulta- 
dos  finales  de  una  accion  diferencial 

Tecnicas  de  recogida  de  informacion 

Pretest-postest  N:  108  (Factor  «g»  de  Catell,  1992;  prueba  de  personalidad  de  Gillis, 
1989;  comprension  lectora  «Cloze»,  Suarez  y Meara,  1985  y prueba  de  procesos  cogni- 
tivos  estrategicos  de  comprension  lectora,  de  Reyes  y Barrero,  2000). 

Criterios  de  valoracion  de  la  informacion 

Aumento  significativo  del  repertorio  de  estrategias  metacognitivas  dependientes 
de  tareas  e incremento  cognitivo  independiente  de  tareas 

Tecnicas  de  registro  y analisis  de  la  informacion 

Diseno  de  dos  grupos  con  una  variable  independiente,  el  Programa  «Imagen  y Fan- 
tasia^ y con  seis  variables  dependientes:  inteligencia  general,  factor  verbal,  vocabula- 
rio,  comprension  lectora,  procedimientos  metacognitivos  y conocimiento  de 
estrategias  metacognitivas  de  comprension  lectora 

«t»  de  Student  con  dos  muestras  relacionadas  para  contraste  de  hipotesis  nula  en  la 
que  la  muestra  precede  de  una  poblacion  de  medias  X e Y iguales. 

Informe  (destinatarios,  estructura  y amplitud) 

20  Unidades  que  se  desarrollan  a lo  largo  de  19  semanas  mas  el  Test  metacognitivo 
TSD-20.  El  hilo  conductor  es  su  protagonista  «Tonchlto»,  un  nino  de  la  misma  edad 
que  los  alumnos  que  los  acompafia  por  19  centres  de  interes  (aventuras)  para  el  auto- 
control ejecutivo. 

Resultados  de  la  evaluacion  efectuada 

TERCER  CURSO 

Variable  Comprension  Lectora  (SPSS:  t-value:  13,29  2-tail  sig  p 0,000) 

Variable  de  Estrategias  Metacognitivas  (SPSS:  t-value:  14,16  2-tail  sig  p 0,000). 
Variable  de  Inteligencia  General:  (SPSS:  t-value:  12,56  2-tail  sig  p 0,000) 

Variable  de  Procedimientos  Metacognitivos:  (SPSS:  t-value:  13,79  2-tail  sig  p 0,000) 
Variable  de  Vocabulario  (SPSS:  t-value:  10,30  2-tail  p 0,000) 

Variable  Factor  Verbal:  (SPSS:  t-value:20,15  2-tail  p 0,000) 
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CUARTO  CURSO: 

Variable  Comprension  Lectora:  (SPSS:  t-value:  10,34  2-tail  p > 0,000) 

Variable  de  Estrategias  Metacognitivas:  (SPSS:  t-value:  t-value:  10,71  2-tail  p 0,000) 
Variable  Inteligencia:  (SPSS:  t-value:  16,21  2-tail,  p 0,000) 

Variable  de  Procedimientos  Metacognitivos:  (SPSS:  t-value:  19,54  2-tail  p 0,000) 
Variable  de  Vocabulario:  (SPSS:  t-value:  19,54  2-tail  p 0,000) 

Variable  Factor  Verbal:  (SPSS:  t-value:  21,75  2-tail  p 0,000) 

CONCLUSIONES 

Como  puede  comprobarse  en  los  datos  estadfsticos,  las  mejoras  son  significativas 
en  las  seis  variables  dependientes  enunciadas  con  lo  que  nuestra  investigation  corro- 
bora  estudios  (Bakaer  y Brown,  1984;  Winograd,  1982;  Repetto,  1990)  los  cuales  habfan 
establecido  previamente  tanto  fuera  de  nuestras  fronteras  como  en  el  area  de  influen- 
cia  del  Castellano  que  son  posibles  estas  mejoras  de  la  conducta  estrategica,  mediante 
programas  metacognitivos  de  diseno  mediacional.  Las  mejoras  en  los  contenidos 
metacognitivOs  implican  que  las  estrategias  se  han  asimilado  de  forma  ejecutiva 
pasando  a ser  procesos  cogmtivos  auto-dirigidos  integrados  en  un  repertorio  personal 
de  estrategias  de  resolution  de  problemas  de  comprension. 
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Catalina  Martinez  Mediano 

Departamento  de  M6todos  de  Investigacion  y Diagndstico  en  Educaci6n 


ANO 

Las  fechas  de  termination  de  las  siete  investigaciones  que  recogemos  van  desde 
1991  a 1998.  La  1)  y 2)  de  1991,  la  3)  de  1993,  la  4)  de  1994,  y la  5),  6)  y 7)  de  1998. 

TITLI LOS  DE  LOS  PROGRAMAS 

1)  Factores  de  eficacia  de  los  Centros  Asociados  de  la  UNED. 

2)  Proyectos  experimentales  para  la  Reforma  de  la  Ensenanza  de  la  Educacion 
Infantil 

3)  Educacion  vial  para  educadores  extraescolares. 

4)  Evaluation  formativa  de  los  alumnos  de  Pedagogia  Experimental  (curso  de 
adaptation)  de  la  UNED,  a traves  del  videotexto  interactive. 

5)  Desarrollo  de  habilidades  superiores  de  pensamiento:  Analisis,  Sintesis  y Eva- 
luacion. 

6)  Necesidades  y servicios  de  orientation  universitaria  en  la  Comunidad  de 
Madrid. 

7)  Proyectos  educativos  desarrollados  en  contextos  escolares  multiculturales. 

RESPONSABLE  DEL  PROGRAMA 

En  la  mayoria  de  los  casos  los  programas  pertenecen  a instituciones  — UNED  (1,  3 
y 6),  MEC  (2  y 7),  Direction  General  de  Trafico,  Comunidad  de  Madrid — o a los  pro- 
pios  investigadores  (4  y 5). 


RESPONSABLE  DE  LA  EVALUACION 


1)  C.  Martinez  Mediano,  2)  T.  Aguado  Odina,  3)  R.  Perez  Juste  (Director),  E.  De 
Lara  y A.  Sebastian,  4)  R.  Perez  Juste  (Director),  J.L.  Garcia  Llamas,  M.A.  Gonza- 
lez Galan,  C.  Martinez  Mediano,  E.  De  Lara  y N.  Ruiperez  Losada.,  5)  B.  Alvarez 
Gonzalez,  6)  M.F.  Sanchez  Garcia,  7)  T.  Aguado  Odina. 

OBJETO  EVALUADO 

En  5 de  las  7 investigaciones  son  programas  en  funcionamiento  de  las  instituciones. 
El  4)  y 5)  son  programas  elaborados  por  los  investigadores.  Estos  son  los  objetos  de 
evaluacion: 

1)  Los  Centres  Asociados  de  la  UNED. 

2)  Proyectos  experimentales  y no  experimentales  en  el  marco  del  Plan  Experimen- 
tal para  la  Reforma  de  la  Ensenanza  Infantil  en  Espana. 

3)  Programa  de  Educacion  Vial  para  educadores  extraescolares. 

4)  El  videotexto  interactive  como  herramienta  para  la  direccion  y evaluacion  for- 
mativa  del  aprendizaje,  y mejora  de  actitudes  del  estudiante  hacia  la  UNED. 

5)  Programa  cognitivo  disenado  como  recurso  de  enriquecimiento  para  alumnos 
de  altas  capacidades  de  cinco  a siete  anos. 

6)  Servicios  de  orientacion  de  las  universidades  de  la  Comunidad  de  Madrid  en 
relacion  con  las  necesidades  de  orientacion  del  alumnado.  Analisis  de  sus 
estructuras  organizativas,  objetivos,  funciones  y actividades. 

7)  Proyectos  y practicas  educativas  desarrollados  en  centres  publicos  de  ensenan- 
za obligatoria  con  alumnado  diverso  culturalmente. 

OBJETIVOS 

Los  objetivos  de  las  investigaciones  evaluativas  se  centran  en  variables  de  entrada, 
contexto,  proceso  y resultados,  con  especial  incidencia  en  los  aspectos  organizativos  y 
procesuales  de  los  programas,  con  la  finalidad  de  explicar  sus  caracteristicas  y valorar 
su  calidad,  haciendo  propuestas  de  mejora.  En  concreto,  las  investigaciones  evaluati- 
vas que  comentamos,  se  fijaron  los  siguientes  objetivos: 

1)  Analizar  las  variables  de  los  Centres  Asociados  de  la  UNED  que  pueden  incidir 
en  el  rendimiento  de  los  alumnos,  como  son  la  estructura  fisica  y funcional  del 
centre,  sus  recursos  economicos,  organizativos  y personales,  los  programas  de 
estudio,  las  de  los  alumnos,  los  procesos  de  ensenanza-aprendizaje,  y el  clima 
socioeducativo  y el  contexto  UNED. 

2)  Analisis  comparative  de  diferentes  proyectos  de  educacion  infantil  desarrolla- 
dos en  el  marco  del  Plan  Experimental  para  la  Reforma  de  la  Educacion  Infantil, 
y proyectos  no  pertenecientes  a dicho  Plan  en  orden  a identificar  las  variables 
de  entrada  y proceso  que  diferencian  entre  programas  reforma /no  reforma  y su 
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incidencia  en  los  resultados  de  los  alumnos;  analisis  de  los  efectos  diferenciales 
de  los  programas  cuando  se  adoptan  como  criterios  los  objetivos  generales  esta- 
blecidos  en  la  Reforma  de  la  Educacion  Infantil  (MEC,  1986/1990). 

3)  Valorar  el  programa  de  Educacion  Vial  para  educadores  extraescolares  en  cuan- 
to  al  grado  en  que  responde  a las  demandas  sociales,  su  calidad  tecnica  y su 
adecuacion  para  el  aprendizaje  a distancia  y su  utilidad  para  el  ejercicio  profe- 
sional.  Valorar  el  desarrollo  del  programa  en  cuanto  a la  atencion  y el  apoyo 
ofrecido  / recibido,  su  adecuacion  a la  planificacion,  la  calidad  de  las  activida- 
des  y el  valor  pedagogico  de  la  evaluacion.  Valorar  su  eficacia. 

4)  Ampliar  los  elementos  de  relation  entre  el  estudiante  y profesor  de  la  UNED. 
Mejorar  el  rendimiento  academico  mediante  la  direction  del  aprendizaje  y su 
seguimiento  a traves  del  videotexto  interactivo.  Mejorar  la  satisfaccion  de  los 
alumnos  con  su  proyecto  educativo  y la  institution. 

5)  Desarrollo  de  las  habilidades  de  pensamiento  de  analisis,  sintesis  y evaluacion 
en  alumnos  de  altas  capacidades.  Asimilacion  y transference  de  las  estrategias 
aprendidas.  Desarrollo  en  los  alumnos  de  la  capacidad  de  autoevaluacion. 
Desarrollo  de  un  recurso  de  enriquecimiento  para  el  primer  ciclo  de  Primaria. 

6)  Identificar  y valorar  las  necesidades  de  orientacion  de  los  universitarios  madri- 
lenos,  en  funcion  de  variables  como  edad,  sexo,  situation  sociolaboral,  estudios, 
universidad,  circunstancias  de  election  de  estudios,  satisfaccion  con  los  estu- 
dios y expectativas  profesionales.  Analisis  comparative  de  los  servicios  / siste- 
mas  de  orientacion  de  las  universidades  objeto  del  estudio.  Analisis  de  los 
ajustes  y desajustes  entre  las  necesidades  detectadas  y las  intervenciones  de  los 
servicios  de  orientacion. 

7)  Analizar  y valorar  las  practicas  educativas  desarrolladas  en  contextos  escolares 
multiculturales  con  objeto  de  identificar  modelos  educativos  y pautas  de  actua- 
tion desarrollados  y valorar  la  efectividad  de  los  mismos  en  funcion  de  objeti- 
vos derivados  de  modelos  educativos  interculturales.  Formular  un  modelo  que 
describa  las  relaciones  entre  las  variables  estudiadas.  Elaborar  propuestas  de 
actuation  coherentes  con  el  enfoque  intercultural  propuesto. 

FUNCION 

La  funcion  evaluativa  que  predomina  es  la  formativa.  Todos  los  investigadores 
evaluativos  investigan  con  la  finalidad  de  conocer  mejor  el  objeto  evaluado  para 
poder  realizar  propuestas  de  mejora  argumentadas.  Junto  a esta  finalidad  formativa, 
la  funcion  de  informar  y rendir  cuentas  a la  sociedad  proxima  a los  programas  es,  asi- 
mismo,  realizada,  siendo  esto  una  caracterfstica  consustancial  con  la  finalidad  de 
mejora  de  los  programas  y de  las  personas  implicadas  en  los  mismos. 

PARADIGMA 

En  la  totalidad  de  los  trabajos  que  comentamos  predomina  un  enfoque  paradigma- 
tic© mixto,  eclectico,  o de  complementariedad  metodologica.  En  cierto  modo  se  trata 
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de  una  «cualitativizacion  de  las  investigaciones  cuantitativas».  Los  investigadores  del 
ambito  de  la  education  diffrilmente  podrfamos  proceder  de  diferente  manera,  dado 
que  antes,  durante  y despues  del  dato  cuantitativo  se  encuentra  una  realidad  educati- 
va  de  hechos  y personas  que  es  el  objetivo  ultimo  de  la  investigacion.  Y,  es  que,  la 
investigation  cualitativa,  entendida  como  un  analisis  e interpretation  minucioso,  esta 
en  todo  el  proceso  de  investigacion  educativa. 

MODELO 

El  modelo  evaluativo  comun  a las  investigaciones  que  comentamos,  podrfamos 
identificarlo  con  el  modelo  CIPP  de  Stufflebeam  y Shinkfield  (1987),  orientado  a la 
valoracion  de  los  programas  en  su  conception,  realization  y resultados,  para  informar 
a quienes  toman  decisiones  sobre  como  deben  orientar  la  mejora  de  los  programas  y 
su  gestion.  Analizan  variables  de  contexto,  entrada,  proceso  y resultados.  R.  Perez 
Juste  utiliza  su  modelo  de  evaluation  de  programas  educativos  (initial,  procesual  y 
final),  que  guarda  similitudes  con  el  de  Stufflebeam  y Shinkfield  y el  de  la  figura  de 
Stake  (1967). 

METODOLOGIA  DE  LA  EVALUACION 

Los  diseitos  que  predominan  son  los  cuasi-experimentales.  El  muestreo  que  se  uti- 
liza es  diverso:  incidental  con  grupos  extremos,  grupos  naturales,  muestreo  aleatorio 
estratificado. 

Las  tecnicas  de  recogida  de  information  mas  utilizadas  son  las  de  tipo  encuesta. 
Cuestionarios,  entrevistas,  observation.  Se  realizan  analisis  de  documentos  y se  captu- 
ra  la  realidad  mediante  instrumentos  de  audio  y video. 

Los  criterios  para  valorar  la  calidad  de  la  information  han  sido  pruebas  de  fiabili- 
dad  y validez,  y su  adecuacion  a las  teorfas. 

Las  referencias  principals  son  la  adecuacion  a los  modelos,  cuando  los  hay. 

Las  tecnicas  de  registro  y analisis  de  datos  han  sido,  desde  cuestionarios,  escalas, 
pruebas  academicas,  observaciones  mediante  pautas  e instrumentos  tecnicos,  etc.  Los 
analisis  de  los  datos  van  desde  los  descriptivos,  a los  inferenciales.  Predomina  el  ana- 
lisis de  la  varianza  y covarianza,  contrastes  mediante  la  prueba  %1 2,  analisis  factoriales  y 
discriminantes,  entre  otros. 

El  tipo  de  decisiones  se  orienta  a recomendar  las  mejoras  necesarias  derivadas  de 
las  carencias  y limitaciones  que  han  sido  detectadas  en  el  proceso  y resultado  de  las 
evaluaciones,  dirigidas  a aquellos  que  pueden  realizarlas  y a quienes  tienen  derecho  a 
conocer  los  resultados  de  la  evaluation  y las  propuestas  de  mejora  como  consecuencia 
de  la  misma. 

Con  mayor  detalle,  podemos  ver  la  metodologfa  de  las  siete  investigaciones  eva- 
luativas  que  comentamos. 

1 ) Diseiio.  Etnografico.  Metodologfa  predominante  cualitativa,  de  estudio  de  caso. 

Selection  de  cuatro  Centros  Asociados  de  la  UNED,  los  dos  de  superior  e infe- 
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rior  rendimiento  en  el  curso  de  acceso  a la  UNED  para  mayores  de  25  anos 
(CAD).  Acceso  al  campo  para  analizar  en  profundidad  las  variables  de  estudio: 
el  propio  centro  y su  contexto,  sus  recursos,  su  organizacion,  su  profesorado, 
sus  alumnos  y los  procesos  instruccionales. 

Tecnicas  de  recogida  de  information.  De  diversas  fuentes,  tecnicas  e informan- 
tes.  Analisis  de  documentos,  entrevistas  individuales  y grupales,  pruebas  de 
conocimientos,  observacion  directa,  cuestionarios  de  opinion. 

Criterios  utilizados  para  valorar  la  information.  Fiabilidad  y validation  de  los 
instrumentos.  Coherencia  con  las  teorias  e investigaciones  previas. 

Referencias.  Teorias  e investigaciones  previas. 

Tecnicas  de  registro  y analisis  de  la  information.  Analisis  de  las  entrevistas, 
escalas  de  observacion,  cuestionarios.  Analisis  descriptivos,  prueba  de  %2  entre 
los  centros,  analisis  de  la  varianza  de  las  pruebas  de  conocimientos;  analisis 
cualitativos  de  los  documentos,  entrevistas  y observacion  prolongada  en  los 
centros  de  sus  directores,  profesores,  alumnos  y personal  administrative. 

Tipos  de  decisiones.  Recomendaciones  a la  direccion  de  la  UNED,  — sede  cen- 
tral y centros  asociados — para  una  mayor  incidencia  en  objetivos  pedagogi- 
cos,  mayor  implicacion  de  la  direccion  en  la  organizacion  orientada  al 
rendimiento  y satisfaction  de  alumnos  y profesores-tutores,  mejora  estructu- 
ral  de  los  espacios,  y mayor  implicacion  de  la  Junta  de  Gobierno  de  la  UNED 
en  la  reduction  de  los  desequilibrios  presupuestarios  entre  los  centros  asocia- 
dos de  la  UNED. 

2)  Diseiio.  Cuasi-experimental,  jerarquico  de  seis  grupos  intratratamiento,  trans- 
versal y longitudinal,  a lo  largo  de  dos  cursos  academicos  (1989/1991);  se  reali- 
zado  en  analisis  de  variables  estructurales  y procesuales. 

Tecnicas  de  recogida  de  information.  Observacion  sistematica,  escalas,  cuestio- 
narios. Entrevistas,  registro  de  incidentes.  Reuniones  con  padres,  profesores  y 
otros  implicados.  Consulta  de  documentation. 

Criterios  utilizados  para  valorar  la  information.  Accesibilidad,  suficiencia  y 
efectividad  para  medir  las  variables  propuestas. 

Referencias.  Modelo  teorico  propuesto  en  el  Plan  Experimental  para  la  Reforma 
de  la  Ensenanza  Infantil  (Marco  teorico  y Diseno  Curricular  Base). 

Tecnicas  de  registro  y analisis  de  la  information.  Analisis  de  escalas  de  obser- 
vacion, cuestionarios  y entrevistas.  Analisis  descriptivos,  correlaciones,  de  cova- 
rianza  y analisis  de  series  temporales. 

Tipos  de  decisiones.  Formulation  de  propuestas  organizativo-didacticas  orien- 
tadas  a mejorar  el  logro  de  los  objetivos  propuestos  en  el  Plan  Experimental. 

3)  Diseno  no  experimental:  evaluacion  «ex-post-facto»  del  programa  en  euanto  tal, 
evaluation  continua  del  proceso  y de  los  resultados. 

Tecnicas  de  recogida  de  information.  Diversas,  en  coherencia  con  el  principio  de 
complementariedad  para  la  evaluacion  del  programa:  cuestionarios  (expertos, 
alumnos  y profesores).  Evaluacion  del  proceso:  entrevistas  en  profundidad. 
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entrevistas  telefonicas,  cuestionario  (alumnos  y profesores).  Evaluation  de  la 
eficacia:  calificaciones  finales  (superacion  o no  del  curso). 

Criterios  utilizados  para  valorar  la  information.  Evaluation  del  programa: 
adecuacion  a las  demandas;  utilidad;  calidad  de  los  objetivos  y de  los  conteni- 
dos;  calidad  didactica  de  los  materiales.  Evaluacion  del  proceso:  suficiencia  y 
satisfactoriedad  de  los  apoyos;  dificultad  y factibilidad  de  las  actividades,  satis- 
factoriedad  por  la  information  recibida  y puntualidad  de  la  misma.  Eficacia  en 
el  logro  de  los  objetivos. 

Referencias.  Sin  referencia,  al  no  haber  datos  comparables  en  la  UNED  ni  haber 
planteado  la  Direction  unos  niveles  a alcanzar. 

Tecnicas  de  registro  y andlisis  de  la  information.  Analisis  descriptivos.  Compa- 
ction de  las  valoraciones  de  los  diferentes  informantes.  Coherencia  entre  valo- 
raciones  de  expertos,  apreciaciones  significativas  (analisis  textual). 

Tipos  de  decisiones.  Al  no  ser  los  autores  de  la  evaluacion  los  responsables  del 
Programa,  no  cupo  otra  actuation  que  la  elaboration  del  informe  con  propues- 
tas  de  mejora. 

4)  Diseiio.  Cuasi-experimental  de  cuatro  grupos  independientes,  con  medidas  pre- 
test-postest.  Acercamiento  cualitativo  a las  situaciones  iniciales  y contextuales,  y 
seguimiento  del  proceso. 

Tecnicas  de  recogida  de  information.  Pruebas  de  rendimiento,  cuestionarios  de 
actitud,  entrevista  individual  y grupal,  antes  y despues  de  la  experiencia. 
Criterios  utilizados  para  valorar  la  information.  Adecuacion  del  programa  y 
de  los  instrumentos  de  recogida  de  information  a la  teorfa  y objetivos  de  la 
investigation,  valorado  por  expertos.  Durante  el  proceso:  accesibilidad  a la 
information  mediante  la  herramienta  del  videotexto  interactivo;  seguimiento 
telefonico  con  los  participantes  en  la  experiencia:  alumnos  y profesores-tutores. 
Final:  suficiencia  y satisfactoriedad  de  los  apoyos  y de  la  information,  y de  los 
resultados  academicos  y motivacionales. 

Referencias.  Objetivos  previamente  fijados  de  rendimiento,  motivacionales  y 
actitudinales. 

Tecnicas  de  registro  y andlisis  de  la  information.  Cuestionarios  de  actitud  y de 
rendimiento.  Analisis  descriptivos,  prueba  y},  analisis  de  la  varianza  en  las  prue- 
bas de  conocimientos;  analisis  cualitativos  de  entrevistas  tras  la  experiencia. 
Tipos  de  decisiones.  Recomendaciones  para  introducir  mejoras  en  la  direction 
del  aprendizaje  y evaluacion  formativa  a traves  de  los  medios  telematicos  en 
education  a distancia. 

5)  Diseiio.  Cuasi-experimental,  pretest-postest,  con  grupos  de  clase  naturales  sin 
manipular:  grupos  experimental  y control  para  alumnos  de  altas  capacidades; 
grupos  experimental  y control  para  alumnos  del  promedio. 

Tecnicas  de  recogida  de  information.  Protocolo  para  profesores  por  el  que  se 
seleccionan  cinco  alumnos  de  acuerdo  con  las  caracteristicas  referenciadas. 
Pruebas:  WPPSI,  WISC,  TTCT  y Autoconcepto.  Prueba  de  Pretest.  Programa 
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piloto  DASE  y experimental  DASE.  Prueba  de  Postest.  Recogida  del  rendimien- 
to  academico  durante  dos  cursos  academicos. 

Criterios  utilizados  para  valorar  la  information.  Viabilidad,  evaluabilidad,  efi- 
cacia,  eficiencia. 

Referencias.  Progreso  sobre  el  propio  programa. 

Tecnicas  de  registro  y andlisis  de  la  information.  Analisis  de  varianza,  Analisis 
factorial  para  las  actividades  del  programa  DASE,  indices  de  fiabilidad,  validez 
y regresion.  Prueba  de  yf. 

Tipos  de  decisiones.  El  desafio  intelectual  del  entomo  de  los  alumnos  de  altas 
capacidades  les  induce  a reducir  esfuerzos,  logrando  buenos  resultados  con 
escasa  inversion  de  tiempo  y capacidad.  El  programa  debe  ser  mas  especifico  y 
posiblemente  incluir  algunas  sesiones  de  atencion  fuera  del  aula  ordinaria  y en 
el  propio  entomo  familiar. 

6 ) Diseno.  Cuasi-experimental.  Primero:  evaluacion  de  las  necesidades  de  orienta- 
cion. Se  estudian  tres  grupos  diferentes  pertenecientes  a las  once  universidades 
de  la  Comunidad  de  Madrid:  a)  2489  universitarios  — muestreo  aleatorio  estra- 
tificado  proporcional  segun  tipos  de  carrera  y universidades — , b)  44  orientado- 
res  y c)  11  responsables  de  los  servicios  de  orientacion.  Segundo:  analisis  de  los 
servicios  de  orientacion  de  las  instituciones  universitarias;  enfoque  mixto  (cuali- 
tativo  y cuantitativo),  valoraciones  globales  y estudio  comparado  de  casos. 
Tecnicas  de  recogida  de  information.  Cuestionarios  para  universitarios  para 
profesionales.  Entrevistas  a los  responsables  de  los  equipos  de  orientacion. 
Criterios  utilizados  para  valorar  la  information.  Validation  del  cuestionario: 
La  fiabilidad  test-retest.  Validez  de  constructo  (analisis  factorial  para  grupos  de 
items  que  conforman  una  variable)  y de  contenido  (revision  critica  de  jueces). 
Referencias.  Las  necesidades  detectadas  entre  los  universitarios  junto  a varia- 
bles situacionales  del  alumnado  y valoraciones  aportadas  por  los  agentes  impli- 
cados.  Los  elementos  comunes  y divergentes  apreciados  en  la  comparacion  de 
los  diversos  servicios /programas. 

Tecnicas  de  registro  y andlisis  de  la  information.  En  los  analisis  de  las  necesida- 
des de  orientacion,  estadisticos  descriptivos  y analisis  de  varianza,  prueba  %2  y 
analisis  discriminantes.  En  el  analisis  de  los  servicios  de  orientacion,  estadisti- 
cos descriptivos  y analisis  de  contenido  de  las  respuestas  de  los  universitarios, 
profesionales  y directores  a las  entrevistas  y la  observation. 

Tipos  de  decisiones.  Destacando  el  importante  desarrollo  de  los  servicios  de 
orientacion  universitaria,  se  detectan  limitaciones  que  aconsejan  la  ampliation  y 
mejora  de  los  modelos  de  orientacion,  de  sus  objetivos  (la  actividad  se  centra 
en  la  funcion  informativa  y en  el  aspecto  laboral/profesional,  estando  poco 
desarrolladas  las  funciones  orientadora  y formativa,  academica  y personal),  y 
deficit  en  recursos  materiales  y personal  especializado. 

7)  Diseno.  Cuasi-experimental,  jerarquico,  transversal  de  treinta  y seis  grupos 
intratratamiento.  La  complejidad  de  los  fenomenos  educativos  a estudiar  y la 
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falta  de  teorias  potentes  que  proporcionen  un  marco  previo  consistente,  reco- 
miendan  la  utilization  de  un  enfoque  multiparadigmatico  en  el  que  metodolo- 
gias  diversas  se  combinan. 

Tecnicas  de  recogida  de  informacion.  Observation  externa  no  participante, 
selectiva,  descriptiva.  Aplicacion  de  escalas,  cuestionarios  y entrevistas. 

Registro  de  incidentes.  Analisis  de  grabaciones  en  audio  y video.  Consulta  de 
documentation.  Reuniones  con  padres,  profesores  y otros  implicados  en  la  acti- 
vidad  escolar. 

Criterios  utilizados  para  valorar  la  information.  Accesibilidad,  suficiencia  y 
efectividad  para  medir  las  variables  propuestas. 

Referencias.  Marco  teorico-conceptual  derivado  de  la  revision  y formulation 
del  enfoque  intercultural  en  education:  objetivos  y procedimientos. 

Tecnicas  de  registro  y analisis  de  la  informacion.  Aplicacion  y analisis  de  hojas 
de  registro,  escalas  de  observation,  cuestionarios  y entrevistas  realizados.  Anali- 
sis descriptivos,  correlaciones,  de  series  temporales.  Representation  grafica 
mediante  histogramas,  diagramas  de  flujo  y mapas  conceptuales  de  la  informa- 
cion contextual  y procesual  acumulada.  Establecimiento  del  grado  de  conver- 
gence entre  datos  obtenidos  por  diversas  vias  y fuentes. 

Tipos  de  decisiones.  Formulation  de  teorias  mas  potentes  desde  las  que  orien- 
tar  acciones  educativas  en  contextos  escolares  multiculturales.  Estrategias  para 
ajustar  las  practicas  escolares  al  modelo  de  education  intercultural  propuesto. 

INFORME 

1)  Tesis  doctoral.  Informe  al  rector  de  la  UNED.  Informe  abreviado  a los  directores 
de  los  centros  asociados.  Difusion  en  congresos.  Publication:  Martinez  Media- 
no,  C.  (1993):  Factores  de  eficacia  de  los  Centros  Asociados  de  la  UNED.  Madrid: 
UNED.  ICI  AIESAD.  Martinez  Mediano,  C.  (1994):  Factores  de  eficacia  de  los 
Centros  Asociados  de  la  UNED.  Revista  de  la  AIESAD.  Martinez  Mediano,  C. 
(1996):  Investigation  evaluativa  sobre  los  factores  de  eficacia  de  los  Centros 
Asociados  de  la  UNED.  En  L.  Garcia  Aretio:  Investigar  para  mejorar  la  calidad  de  la 
UNED.  Trabajos  de  investigacion  sobre  la  UNED.  Madrid:  IUED.UNED. 

2)  Tesis  doctoral.  Publication:  Aguado,  T.  (1993):  Analisis  y evaluacion  de  modelos  y 
programas  de  educacion  infantil  en  el  marco  de  la  Reforma  de  la  Ensenanza.  Cuader- 
nos  de  la  UNED,  124,  Madrid. 

3)  Informe  de  investigacion,  de  168  paginas,  entregado  al  Rector  de  la  UNED  a la 
Direction  General  de  Trafico  y a la  Direction  del  Programa. 

4)  Informes  y difusion  en  encuentros  cientificos  de  la  Institution.  Publicado  en 
actas  de  congresos  y revistas.  Varios  (1997):  Evaluacion  formativa  de  los  alum- 
nos  de  Pedagogia  Experimental  (adaptation)  a traves  del  videotexto  interactive. 
En  C.  Martinez  Mediano,  (Coord.).  Encuentros  en  la  Facultad  de  Educacion  sobre 
Evaluacion.  Madrid:  UNED.  Perez  Juste,  R.  y Sebastian,  A.  (1992):  «Using  video- 
tex for  formative  evaluation  in  UNED  (Spain)».  En  Conference  Abstracs.  Dis- 
tante  Education  for  the  Twenty  first  century.  International  Council  for  Distante 
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Education.  Sukhothai  Thammathirat  Open  University.  Perez  Juste.  R.  (1993): 
Papel  nuclear  de  la  evaluacion  en  la  calidad  y eficacia  de  los  sistemas  educati- 
vos  a distancia,  Ponencia  de  la  Seccion  III  del  Congreso  Intemacional  La  Educa- 
tion superior  a Distancia:  Perspectivas  de  futuro.  Valdepenas.  Perez  Juste,  R (en 
colaboracion)  (1993):  «Incidencia  de  la  direction  del  aprendizaje  por  ordenador 
y de  la  evaluacion  formativa  en  los  resultados  del  aprendizaje,  en  la  satisfaction 
en  el  estudio  y en  la  actitud  hacia  la  institution  universitaria»,  Comunicacion  al 
Congreso  Intemacional  La  Education  superior  a Distancia:  Perspectivas  de  futuro. 
Valdepenas. 

5)  Tesis  doctoral.  Publicacion:  Alvarez  Gonzalez,  B.  (1998):  Un  Programa  de  Enrique- 
cimiento  para  alumnos  de  cinco  a siete  anos.  Madrid:  Premios  CIDE  de  investiga- 
tion educativa.  Alvarez  Gonzalez,  B.  (2000):  Alumnos  de  altas  capacidades. 
Identification  e intervention  educativas.  Madrid:  Bruno. 

6)  Tesis  doctoral.  Publicacion:  Sanchez  Garcia,  M.F.  (1999):  Necesidades  y servicios  de 
orientcion  universitaria  en  la  Comunidad  de  Madrid.  Madrid:  UNED.  Destinado  a 
los  responsables  y profesionales  de  los  servicios  de  orientacion  y a las  autorida- 
des  academicas,  a fin  de  que  en  las  politicas  educativas  universitarias  se  tenga 
en  cuenta  la  necesidad  de  incorporar  programas  y servicios  de  orientacion. 

7)  Como  informe  de  investigacion  ante  el  CIDE,  ya  que  se  realizo  gracias  a una  de 
sus  convocatorias  de  ayudas  a la  investigacion.  Publicacion:  Aguado,  T.  y cols. 
(1999):  Diversidad  cultural  e igualdad  escolar.  Un  modelo  para  el  diagnostico  y desarro- 
llo  de  actuaciones  educativas  en  contextos  multiculturales.  CIDE/MEC,  Col.  Investi- 
gacion, 141,  Madrid. 
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AIDIPE 

Asociacion  Interuniversitaria  de  Investigacion  Pedagogica,  creada  en  1987 


FINES  DE  LA  ASOCIACl6N 

a)  Fomentar,  estimular  e impulsar  la  investigacion  educativa  de  caracter  empfrico  en  todas  sus 
vertientes  y dmbitos  de  aplicacion. 

b)  Difundir  los  resultados  de  esta  investigacion. 

c)  Agrupar  a todos  los  que  en  Espana  cultivan  esta  area  de  conocimiento,  como  docentes  o 
investigadores. 

d)  Colaborar  con  las  autoridades  educativas  y de  polftica  cientifica  en  la  elaboration  de  instrumentos 
de  medida,  evaluation  y de  disenos  de  investigacion  tendentes  a la  mejora  del  sistema  educativo 
y de  desarrollo  de  los  mismos. 

e)  Favorecer  la  formation  y el  perfeccionamiento  especializado  del  personal  investigador  y de  todos 
aquellos  profesionales  que  intervienen  en  la  investigacion  educativa. 

f)  Velar  por  la  calidad  cientifica  y profesional  de  las  actividades  relacionadas  con  la  investigacion 
educativa. 

g)  Velar  por  el  respeto  y cumplimiento  de  las  normas  deontologicas  de  la  investigacion  cientifica 
referida  al  campo  psicopedagogico. 

DERECHOS  DE  LOS  SOCIOS 

Los  socios  numerarios  y fundadores  tendran  los  siguientes  derechos: 

a)  Tomar  parte  en  cuantas  actividades  organice  o patrocine  la  Asociacion  en  cumplimiento  de  sus 
fines. 

b)  Disfrutar  de  todas  las  ventajas  y beneficios  que  la  Asociacion  pueda  obtener. 

c)  Participar  en  las  Asambleas  con  voz  y voto. 

d)  Ser  electores  y elegibles  para  los  cargos  directivos. 

e)  Recibir  informacion  sobre  los  acuerdos  adoptados  por  los  organos  directivos,  sobre  las  activida- 
des tecnicas  y cientificas  que  la  Asociacion  desarrolle. 

f)  Hacer  sugerencias  a los  miembros  de  la  Junta  Directiva  de  la  Asociacion. 

g)  Impugnar  los  acuerdos  y actuaciones  de  la  Asociacion  que  sean  contrarios  a los  Estatutos,  dentro 
del  plazo  de  cuarenta  dias  y en  la  forma  prevista  por  las  leyes. 

Cada  socio  tiene  derecho  a recibir  la  Revista  de  Investigacion  Educativa  de  forma  gratuita. 

SEMINARIOS 

AIDIPE  organiza  cada  2 anos,  un  Seminario  National  con  un  tema  central  en  tomo  al  cual  giran  las 
ponencias,  comunicaciones,  mesas  redondas.  Los  primeros  Congresos  han  sido  los  de  Barcelona  (1981), 
Sitges  (1983),  Gijon  (1985),  Santiago  de  Compostela  (1988),  Murcia  (1990). 


PUBLIC  A CIONES 

AIDIPE  publica  las  Actas  de  sus  Seminarios,  asi  como  la  Revista  de  Investigacion  Educativa  (RIE) 
con  car&cter  semestral. 


Para  mas  informacion,  ver  hoja  de  inscription  adjunta. 


NORMAS  PARA  LAS  COLABORACIONES 


El  objetivo  de  la  Revista  de  Investigation  Educativa  es  promover  el  intercambio  de 
information  acerca  de  investigaciones  empiricas  de  caracter  educativo.  Todo  profesio- 
nal  que  desee  colaborar  en  la  revista  debera  atenerse  a las  siguientes  indicaciones: 

1.  Los  trabajos  deberan  ser  originates  y versar  sobre  investigacion  educativa. 

2.  El  autor  o autora  debera  enviar  un  original  y tres  copias  mecanografiadas  a la 
redaccion  de  la  Revista. 

3.  El  autor  o autora  debera  especificar  debajo  del  nombre  del  articulo  su  direction 
profesional  y su  E.mail.  Si  son  varios  autores/as,  se  adjuntara  el  E.mail  del  primer  autor 
como  minimo. 

4.  La  extension  maxima  de  los  trabajos  no  debera  exceder  las  25  paginas  en  DIN-A4, 
a doble  espacio  y numeradas.  Se  acompanara  un  abstract  de  100  a 150  palabras  en 
ingles  y espanol. 

5.  Con  la  fmalidad  de  simplificar  el  proceso  de  confection  de  la  revista  y,  sobre 
todo,  de  reducir  al  maximo  las  erratas  y costos,  se  ruega  a los  autores/as  enviar  el 
trabajo,  ademas  de  las  copias  en  papel,  en  disquette  compatible.  Se  aceptan  los  siguien- 
tes programas  de  tratamiento  de  textos:  Word  Star,  Word  Perfect,  MSWord  y otros. 

6.  Los  trabajos  recibidos  seran  sometidos  a informe  del  Consejo  Asesor  de  la 
Revista  (quien  decidira  sobre  su  publicacion  o no). 

7.  Los  trabajos  recibidos  para  su  publicacion  en  la  revista  estaran  sujetos  a un  doble 
proceso  de  filtro  para  garantizar  la  objetividad  del  juicio.  En  primer  lugar,  existira  un 
proceso  de  separation  de  las  identificaciones  de  los  autores/as  de  los  trabajos  candidatos 
a ser  publicados  junto  con  la  asignacion  de  codigos  identificativos.  Ademas,  existira  un 
proceso  completamente  independiente  de  election  de  jueces  entre  el  Consejo  Asesor. 
Ambos  procesos  seran  totalmente  independientes  y transparentes  entre  si,  de  forma  que 
al  asignar  un  conjunto  de  jueces  del  Consejo  Asesor  se  desconoce  cualquier  informa- 
cion sobre  el  articulo,  salvo  el  conjunto  de  descriptores  sobre  su  contenido. 

8.  Se  notificara  a sus  autores/as  los  trabajos  aceptados  para  su  publicacion. 

9.  Para  la  redaccion  de  los  trabajos  se  recomienda  que  sigan  las  normas  de  la  A.P.A. 
(American  Psychology  Association).  (Ver  adaptation  publicada  en  el  n.°  19,  l.er  semes- 
tre  1992  de  R.I.E.). 

10.  Las  fichas  resumen  se  cumplimentaran  de  acuerdo  con  el  modelo  propuesto  e 
impreso  por  la  Revista,  a cuya  sede  podra  solicitar  los  ejemplares. 

1 1.  Los  numeros  se  cierran  los  dfas  1 de  mayo  y 1 de  noviembre  de  cada  ano. 

12.  LaR.I.E.  es  de  caracter  semestral. 

13.  Los  autores/as  deben  incluir  en  sus  artfculos  referencias  a otros  trabajos  publica- 
dos en  RIE  que  traten  sobre  el  mismo  tema. 
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